Qwen: Qwen3 Coder Next

Dziś ogłaszamy Qwen3-Coder-Next, model językowy o otwartych wagach, zaprojektowany specjalnie dla agentów kodujących i lokalnego rozwoju. Oferuje on następujące kluczowe ulepszenia:

• Super wydajny z znaczącą wydajnością: Przy zaledwie 3B aktywowanych parametrów (80B całkowitych parametrów) osiąga wydajność porównywalną z modelami o 10–20 razy większej liczbie aktywnych parametrów, co czyni go bardzo opłacalnym dla wdrożeń agentów.
• Zaawansowane zdolności agencyjne: Dzięki rozbudowanej recepturze treningowej doskonale radzi sobie z długoterminowym rozumowaniem, złożonym użyciem narzędzi i odzyskiwaniem po błędach wykonania, zapewniając solidną wydajność w dynamicznych zadaniach kodowania.
• Wszechstronna integracja z rzeczywistym IDE: Jego kontekst o długości 256k, w połączeniu z adaptowalnością do różnych szablonów scaffoldingowych, umożliwia bezproblemową integrację z różnymi platformami CLI/IDE (np. Claude Code, Qwen Code, Qoder, Kilo, Trae, Cline, itp.), obsługując różnorodne środowiska programistyczne.

Qwen3-Coder-Next ma następujące cechy:

• Typ: Causal Language Models
• Etap treningu: Pretraining & Post-training
• Liczba parametrów: 80B łącznie i 3B aktywowanych
• Liczba parametrów (bez embeddingu): 79B
• Ukryty wymiar: 2048
• Liczba warstw: 48
• Hybrydowy układ: 12 \ (3 \ (Gated DeltaNet -> MoE) -> 1 \* (Gated Attention -> MoE))
• Gated Attention:

• Liczba głów uwagi: 16 dla Q i 2 dla KV
• Wymiar głowy: 256
• Wymiar Rotary Position Embedding: 64
• Gated DeltaNet:

• Liczba głów uwagi liniowej: 32 dla V i 16 dla QK
• Wymiar głowy: 128
• Mixture of Experts:

• Liczba ekspertów: 512

• Liczba aktywowanych ekspertów: 10

• Liczba współdzielonych ekspertów: 1
• Wymiar pośredni eksperta: 512
• Długość kontekstu: 262 144 natywnie

UWAGA: Ten model obsługuje tylko tryb non-thinking i nie generuje bloków w swoim wyjściu. Jednocześnie nie jest już wymagane określanie enable_thinking=False. Więcej szczegółów, w tym ocenę benchmarków, wymagania sprzętowe i wydajność wnioskowania, znajduje się na naszym blogu, GitHub i w dokumentacji. Zalecamy korzystanie z najnowszej wersji transformers. Poniżej znajduje się fragment kodu ilustrujący, jak używać modelu do generowania treści na podstawie podanych danych wejściowych. Uwaga: Jeśli napotkasz problemy z brakiem pamięci (OOM), rozważ skrócenie długości kontekstu do mniejszej wartości, np. 32,768.