Nanbeige4.2-3B-Base

Nanbeige4.2-3B-Base to nowy model bazowy w serii Nanbeige4, wytrenowany od podstaw z ulepszeniami zarówno w architekturze modelu, jak i danych treningowych. Oferuje znaczne zyski w porównaniu do poprzedniej generacji i przewyższa otwarte modele bazowe o porównywalnej skali, w tym Qwen3.5-4B i Gemma4-E4B, w szerokim zakresie benchmarków. Kluczowe cechy obejmują:

• Architektura Looped: Przyjmuje architekturę Looped Transformer, w której stany ukryte są zwracane do tych samych warstw Transformera po zakończeniu przejścia od dołu do góry. Schemat ponownego użycia znacznie zwiększa pojemność modelu bez zwiększania liczby parametrów.
• Ulepszony przepis na dane treningowe: Zwiększa całkowitą ilość danych treningowych z 23T do 28T tokenów, z bardziej agresywnym upsamplingiem danych matematycznych, kodu, STEM i Synthetic-QA, aby wzmocnić zdolności rozumowania i kodowania. Dołączony modeling_nanbeige.py zawiera również nasze najnowsze ulepszenia architektoniczne, w tym LoopSplit, mHC z uwagą głębokości oraz sklejone osadzenia n-gramowe. Te cechy zostały włączone do Nanbeige4.5, którego trening jest w toku, a wydanie planowane jest na później w 2026 roku. Porównujemy Nanbeige4.2-3B-Base z innymi modelami bazowymi o porównywalnej skali parametrów w różnorodnym zestawie benchmarków obejmujących rozumowanie matematyczne, ogólne rozumowanie, generowanie kodu i zadania wymagające wiedzy: Model

Parametry Benchmarki Całkowite parametry Parametry nie-osadzone GSM8K BBH MBPP MMLU-Pro SuperGPQA GPQA Gemma4-E4B-Base8B4B61.862.553.537.623.327.5 Qwen3.5-4B-Base5B4B84.479.157.151.832.143.1 Nanbeige4.1-3B-Base4B3B85.970.760.747.624.836.2 Nanbeige4.2-3B-Base4B3B92.781.667.663.835.253.3 Wyniki pokazują, że Nanbeige4.2-3B-Base konsekwentnie przewyższa Gemma4-E4B-Base, Qwen3.5-4B-Base oraz nasz poprzedni Nanbeige4.1-3B-Base w całym zestawie benchmarków. Chociaż kładziemy duży nacisk na bezpieczeństwo modelu w trakcie procesu treningowego, model może nadal generować nieoczekiwane lub nieodpowiednie wyniki z powodu swojej probabilistycznej natury. Takie wyniki mogą obejmować nieprawdziwe informacje, stronniczość, dyskryminację lub inne szkodliwe treści. Proszę nie rozpowszechniać takich treści. Nie ponosimy odpowiedzialności za konsekwencje rozpowszechniania nieodpowiednich informacji.