DeepSeek: DeepSeek V3.1

DeepSeek-V3.1 to model hybrydowy obsługujący zarówno tryb myślenia, jak i tryb bez myślenia. W porównaniu do poprzedniej wersji, ta aktualizacja przynosi ulepszenia w wielu aspektach:

• Hybrydowy tryb myślenia: Jeden model obsługuje zarówno tryb myślenia, jak i tryb bez myślenia poprzez zmianę szablonu czatu.
• Inteligentniejsze wywoływanie narzędzi: Dzięki optymalizacji po treningu, wydajność modelu w użyciu narzędzi i zadaniach agentowych znacznie się poprawiła.
• Wyższa wydajność myślenia: DeepSeek-V3.1-Think osiąga porównywalną jakość odpowiedzi do DeepSeek-R1-0528, odpowiadając jednocześnie szybciej. DeepSeek-V3.1 jest trenowany na bazie DeepSeek-V3.1-Base, który został zbudowany na oryginalnym punkcie kontrolnym V3 poprzez dwufazowe rozszerzenie kontekstu długiego, zgodnie z metodologią opisaną w oryginalnym raporcie DeepSeek-V3. Rozszerzyliśmy nasz zestaw danych, zbierając dodatkowe długie dokumenty i znacznie wydłużając obie fazy treningu. Faza rozszerzenia 32K została zwiększona 10-krotnie do 630B tokenów, podczas gdy faza rozszerzenia 128K została wydłużona 3,3-krotnie do 209B tokenów. Dodatkowo, DeepSeek-V3.1 jest trenowany przy użyciu formatu danych UE8M0 FP8 zarówno na wagach modelu, jak i aktywacjach, aby zapewnić zgodność z formatami danych mikroskalowania. Więcej szczegółów znajdziesz w DeepGEMM.

Model	#Parametry całkowite	#Parametry aktywowane	Długość kontekstu	Pobierz
DeepSeek-V3.1-Base	671B	37B	128K	HuggingFace | ModelScope
DeepSeek-V3.1	671B	37B	128K	HuggingFace | ModelScope

Szczegóły naszego szablonu czatu są opisane w tokenizer_config.json i assets/chat_template.jinja. Poniżej znajduje się krótki opis.