Qwen: Qwen3 Next 80B A3B Instruct

W ciągu ostatnich kilku miesięcy zaobserwowaliśmy coraz wyraźniejsze trendy w kierunku skalowania zarówno całkowitych parametrów, jak i długości kontekstu w dążeniu do potężniejszej i bardziej agentowej sztucznej inteligencji (AI). Z przyjemnością dzielimy się naszymi najnowszymi osiągnięciami w odpowiedzi na te wymagania, skoncentrowanymi na poprawie efektywności skalowania poprzez innowacyjną architekturę modelu. Nazywamy tę następną generację modeli fundamentowych Qwen3-Next. Qwen3-Next-80B-A3B jest pierwszą odsłoną serii Qwen3-Next i zawiera następujące kluczowe ulepszenia:

• Hybrydowa uwaga: Zastępuje standardową uwagę kombinacją Gated DeltaNet i Gated Attention, umożliwiając efektywne modelowanie kontekstu dla bardzo długich kontekstów.
• Wysoko rozrzedzona mieszanka ekspertów (MoE): Osiąga ekstremalnie niski współczynnik aktywacji w warstwach MoE, drastycznie redukując FLOPy na token przy jednoczesnym zachowaniu pojemności modelu.
• Optymalizacje stabilności: Obejmuje techniki takie jak wyśrodkowana do zera i z wagowym zanikiem normalizacja warstw oraz inne stabilizujące ulepszenia dla solidnego pre-treningu i post-treningu.
• Predykcja wielu tokenów (MTP): Zwiększa wydajność modelu podczas pre-treningu i przyspiesza wnioskowanie. Obserwujemy silną wydajność pod względem zarówno efektywności parametrów, jak i szybkości wnioskowania dla Qwen3-Next-80B-A3B:
• Qwen3-Next-80B-A3B-Base przewyższa Qwen3-32B-Base w zadaniach końcowych przy 10% całkowitego kosztu treningu i 10-krotnej przepustowości wnioskowania dla kontekstu powyżej 32K tokenów.
• Qwen3-Next-80B-A3B-Instruct osiąga wydajność porównywalną z Qwen3-235B-A22B-Instruct-2507 w niektórych benchmarkach, jednocześnie wykazując znaczące przewagi w obsłudze zadań z bardzo długim kontekstem do 256K tokenów. Porównanie benchmarków Qwen3-Next-80B-A3B-Instruct Aby uzyskać więcej szczegółów, zapoznaj się z naszym wpisem na blogu Qwen3-Next. > [!Note] > Qwen3-Next-80B-A3B-Instruct obsługuje tylko tryb instrukcji (bez myślenia) i nie generuje bloków ` w swoim wyjściu. Qwen3-Next-80B-A3B-Instruct ma następujące cechy:
• Typ: Przyczynowe modele językowe
• Etap treningu: Pre-trening (15T tokenów) i post-trening
• Liczba parametrów: 80B ogółem i 3B aktywowanych
• Liczba parametrów (bez osadzania): 79B – Wymiar ukryty: 2048
• Liczba warstw: 48 – Układ hybrydowy: 12 \ (3 \ (Gated DeltaNet -> MoE) -> 1 \* (Gated Attention -> MoE)) – Gated Attention:
• Liczba głów uwagi: 16 dla Q i 2 dla KV – Wymiar głowy: 256 – Wymiar osadzania pozycji obrotowej: 64 – Gated DeltaNet:
• Liczba głów uwagi liniowej: 32 dla V i 16 dla QK – Wymiar głowy: 128 – Mieszanka ekspertów:
• Liczba ekspertów: 512
• Liczba aktywowanych ekspertów: 10
• Liczba współdzielonych ekspertów: 1 – Wymiar pośredni eksperta: 512
• Długość kontekstu: 262 144 natywnie i rozszerzalna do 1 010 000 tokenów |

Qwen3-30B-A3B-Instruct-2507	Qwen3-32B Non-Thinking	Qwen3-235B-A22B-Instruct-2507	Qwen3-Next-80B-A3B-Instruct

| Knowledge | | MMLU-Pro | 78.4 | 71.9 | 83.0 | 80.6 | | MMLU-Redux | 89.3 | 85.7 | 93.1 | 90.9 | | GPQA | 70.4 | 54.6 | 77.5 | 72.9 | | SuperGPQA | 53.4 | 43.2 | 62.6 | 58.8 | | Reasoning | | AIME25 | 61.3 | 20.2 | 70.3 | 69.5 | | HMMT25 | 43.0 | 9.8 | 55.4 | 54.1 | | LiveBench 20241125 | 69.0 | 59.8 | 75.4 | 75.8 | | Coding | | LiveCodeBench v6 (25.02-25.05) | 43.2 | 29.1 | 51.8 | 56.6 | | MultiPL-E | 83.8 | 76.9 | 87.9 | 87.8 | | Aider-Polyglot | 35.6 | 40.0 | 57.3 | 49.8 | | Alignment | | IFEval | 84.7 | 83.2 | 88.7 | 87.6 | | Arena-Hard v2* | 69.0 | 34.1 | 79.2 | 82.7 | | Creative Writing v3 | 86.0 | 78.3 | 87.5 | 85.3 | | WritingBench | 85.5 | 75.4 | 85.2 | 87.3 | | Agent | | BFCL-v3 | 65.1 | 63.0 | 70.9 | 70.3 | | TAU1-Retail | 59.1 | 40.1 | 71.3 | 60.9 | | TAU1-Airline | 40.0 | 17.0 | 44.0 | 44.0 | | TAU2-Retail | 57.0 | 48.8 | 74.6 | 57.3 | | TAU2-Airline | 38.0 | 24.0 | 50.0 | 45.5 | | TAU2-Telecom | 12.3 | 24.6 | 32.5 | 13.2 | | Multilingualism | | MultiIF | 67.9 | 70.7 | 77.5 | 75.8 | | MMLU-ProX | 72.0 | 69.3 | 79.4 | 76.7 | | INCLUDE | 71.9 | 70.9 | 79.5 | 78.9 | | PolyMATH | 43.1 | 22.5 | 50.2 | 45.9 |