DeepSeek: DeepSeek V4 Pro

DeepSeek-V4: W kierunku wysoce wydajnej inteligencji kontekstu miliona tokenów. Przedstawiamy wersję zapoznawczą serii DeepSeek-V4, obejmującą dwa wydajne modele językowe typu Mixture-of-Experts (MoE) — DeepSeek-V4-Pro z 1,6T parametrów (49B aktywnych) oraz DeepSeek-V4-Flash z 284B parametrów (13B aktywnych) — oba obsługujące długość kontekstu jednego miliona tokenów. Seria DeepSeek-V4 zawiera kilka kluczowych ulepszeń w architekturze i optymalizacji:

1. Hybrydowa architektura uwagi: Zaprojektowaliśmy hybrydowy mechanizm uwagi łączący Compressed Sparse Attention (CSA) i Heavily Compressed Attention (HCA), aby radykalnie poprawić wydajność długiego kontekstu. W ustawieniu kontekstu 1M tokenów, DeepSeek-V4-Pro wymaga tylko 27% FLOPs wnioskowania pojedynczego tokena i 10% pamięci podręcznej KV w porównaniu z DeepSeek-V3.2.
2. Manifold-Constrained Hyper-Connections (mHC): Wprowadzamy mHC w celu wzmocnienia konwencjonalnych połączeń resztkowych, zwiększając stabilność propagacji sygnału między warstwami przy jednoczesnym zachowaniu ekspresywności modelu.
3. Optymalizator Muon: Stosujemy optymalizator Muon dla szybszej zbieżności i większej stabilności treningu.

Oba modele są wstępnie trenowane na ponad 32T różnorodnych i wysokiej jakości tokenach, a następnie poddawane kompleksowemu potokowi po treningu. Potrening obejmuje dwuetapowy paradygmat: niezależne kształcenie ekspertów domenowych (poprzez SFT i RL z GRPO), a następnie ujednolicona konsolidacja modelu poprzez destylację on-policy, integrująca odrębne umiejętności z różnych dziedzin w jeden model.

DeepSeek-V4-Pro-Max, tryb maksymalnego wysiłku rozumowania DeepSeek-V4-Pro, znacząco rozwija możliwości wiedzowe modeli open-source, umacniając swoją pozycję jako najlepszy obecnie dostępny model open-source. Osiąga najwyższą wydajność w benchmarkach kodowania i znacząco zmniejsza lukę w stosunku do wiodących modeli zamkniętych w zadaniach rozumowania i agentowych. Tymczasem DeepSeek-V4-Flash-Max osiąga porównywalną wydajność rozumowania do wersji Pro, gdy otrzyma większy budżet myślenia, choć jego mniejsza skala parametrów naturalnie plasuje go nieco niżej w czysto wiedzowych zadaniach i najbardziej złożonych przepływach agentowych.

Model	#Parametry całkowite	#Parametry aktywowane	Długość kontekstu	Precyzja	Pobierz
DeepSeek-V4-Flash-Base	284B	13B	1M	FP8 Mixed	HuggingFace | ModelScope
DeepSeek-V4-Flash	284B	13B	1M	FP4 + FP8 Mixed*	HuggingFace | ModelScope
DeepSeek-V4-Pro-Base	1.6T	49B	1M	FP8 Mixed	HuggingFace | ModelScope
DeepSeek-V4-Pro	1.6T	49B	1M	FP4 + FP8 Mixed*	HuggingFace | ModelScope

\FP4 + FP8 Mixed: Parametry ekspertów MoE używają precyzji FP4; większość innych parametrów używa FP8.*