DeepSeek: DeepSeek V3

Przedstawiamy DeepSeek-V3, silny model językowy Mixture-of-Experts (MoE) z łączną liczbą 671B parametrów, z czego 37B jest aktywowanych dla każdego tokena. Aby osiągnąć wydajne wnioskowanie i opłacalny trening, DeepSeek-V3 przyjmuje architektury Multi-head Latent Attention (MLA) i DeepSeekMoE, które zostały dokładnie zweryfikowane w DeepSeek-V2. Ponadto DeepSeek-V3 jest pionierem strategii bezstratnej bez pomocniczej straty dla równoważenia obciążenia i ustanawia cel treningowy Multi-Token Prediction dla silniejszej wydajności. Trenujemy DeepSeek-V3 na 14,8 biliona różnorodnych i wysokiej jakości tokenów, a następnie etapy Supervised Fine-Tuning i Reinforcement Learning, aby w pełni wykorzystać jego możliwości. Kompleksowe oceny ujawniają, że DeepSeek-V3 przewyższa inne modele open-source i osiąga wydajność porównywalną z wiodącymi modelami zamkniętymi. Pomimo doskonałej wydajności, DeepSeek-V3 wymaga tylko 2,788M godzin GPU H800 na pełny trening. Ponadto jego proces treningu jest niezwykle stabilny. Podczas całego procesu treningu nie doświadczyliśmy żadnych nieodwracalnych skoków straty ani nie wykonaliśmy żadnych wycofań.

Architektura: Innowacyjna strategia równoważenia obciążenia i cel treningowy

• Na bazie wydajnej architektury DeepSeek-V2, jesteśmy pionierami strategii bezstratnej bez pomocniczej straty dla równoważenia obciążenia, która minimalizuje degradację wydajności wynikającą z zachęcania do równoważenia obciążenia.
• Badamy cel Multi-Token Prediction (MTP) i udowadniamy, że jest korzystny dla wydajności modelu. Może być również używany do spekulacyjnego dekodowania w celu przyspieszenia wnioskowania.

Przedtrening: W kierunku najwyższej wydajności treningu

• Projektujemy framework treningu mieszanej precyzji FP8 i po raz pierwszy potwierdzamy wykonalność i skuteczność treningu FP8 na modelu o ekstremalnie dużej skali.
• Poprzez współprojektowanie algorytmów, frameworków i sprzętu, pokonujemy wąskie gardło komunikacji w treningu MoE między węzłami, osiągając prawie pełne nakładanie się obliczeń i komunikacji. To znacząco zwiększa naszą wydajność treningu i obniża koszty treningu, umożliwiając dalsze skalowanie rozmiaru modelu bez dodatkowych kosztów ogólnych.
• Przy ekonomicznym koszcie tylko 2,664M godzin GPU H800, kończymy przedtrening DeepSeek-V3 na 14,8T tokenów, produkując obecnie najsilniejszy otwarty model bazowy. Kolejne etapy treningu po przedtreningu wymagają tylko 0,1M godzin GPU.

Potrening: Dystylacja wiedzy z DeepSeek-R1

• Wprowadzamy innowacyjną metodologię dystylacji zdolności rozumowania z modelu długiego łańcucha myśli (CoT), w szczególności z jednego z modeli serii DeepSeek R1, do standardowych LLM, szczególnie DeepSeek-V3. Nasz potok elegancko włącza wzorce weryfikacji i refleksji R1 do DeepSeek-V3 i znacząco poprawia jego wydajność rozumowania. Jednocześnie utrzymujemy kontrolę nad stylem wyjścia i długością DeepSeek-V3.

Model	Łączna liczba parametrów	Aktywowane parametry	Długość kontekstu	Pobierz
DeepSeek-V3-Base	671B	37B	128K	? HuggingFace
DeepSeek-V3	671B	37B	128K	? HuggingFace