Qwen: Qwen3.6 35B A3B

Uwaga: To repozytorium zawiera wagi modelu i pliki konfiguracyjne dla modelu po treningu w formacie Hugging Face Transformers. Te artefakty są kompatybilne z Hugging Face Transformers, vLLM, SGLang, KTransformers itp.

Po lutowym wydaniu serii Qwen3.5, z przyjemnością dzielimy się pierwszym wariantem o otwartych wagach Qwen3.6. Zbudowany na bezpośrednim feedbacku od społeczności, Qwen3.6 stawia na stabilność i praktyczną użyteczność, oferując programistom bardziej intuicyjne, responsywne i naprawdę produktywne doświadczenie kodowania. To wydanie przynosi znaczące ulepszenia, szczególnie w:

• Agentowe Kodowanie: model teraz obsługuje przepływy pracy frontendu i rozumowanie na poziomie repozytorium z większą płynnością i precyzją.
• Zachowywanie Myślenia: wprowadziliśmy nową opcję do zachowywania kontekstu rozumowania z historycznych wiadomości, usprawniając iteracyjny rozwój i redukując narzut.

Aby uzyskać więcej szczegółów, sprawdź nasz wpis na blogu Qwen3.6-35B-A3B.

• Typ: Causal Language Model z Vision Encoder
• Etap treningu: Pre-training & Post-training
• Model językowy
• Liczba parametrów: 35B łącznie i 3B aktywne
• Wymiar ukryty: 2048
• Osadzenia tokenów: 248320 (dopełnione)
• Liczba warstw: 40
• Układ ukryty: 10 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))
• Gated DeltaNet:

• Liczba głów uwagi liniowej: 32 dla V i 16 dla QK
• Wymiar głowy: 128
• Gated Attention:

• Liczba głów uwagi: 16 dla Q i 2 dla KV
• Wymiar głowy: 256
• Wymiar osadzeń pozycji obrotowej: 64
• Mieszanka ekspertów

• Liczba ekspertów: 256

• Liczba aktywowanych ekspertów: 8 kierowanych + 1 wspólny
• Wymiar pośredni eksperta: 512
• Wyjście LM: 248320 (dopełnione)
• MTP: trenowany z wieloma krokami
• Długość kontekstu: 262 144 natywnie i rozszerzalna do 1 010 000 tokenów.

Qwen3.5-27BGemma4-31BQwen3.5-35BA3BGemma4-26BA4BQwen3.6-35BA3B Coding Agent SWE-bench Verified 75.0 52.0 70.0 17.4 73.4 SWE-bench Multilingual 69.3 51.7 60.3 17.3 67.2 SWE-bench Pro 51.2 35.7 44.6 13.8 49.5 Terminal-Bench 2.0 41.6 42.9 40.5 34.2 51.5 Claw-Eval Avg 64.3 48.5 65.4 58.8 68.7 Claw-Eval Pass^3 46.2 25.0 51.0 28.0 50.0 SkillsBench Avg5 27.2 23.6 4.4 12.3 28.7 QwenClawBench 52.2 41.7 47.7 38.7 52.6 NL2Repo 27.3 15.5 20.5 11.6 29.4 QwenWebBench 1068 1197 978 1178 1397 General Agent TAU3-Bench 68.4 67.5 68.9 59.0 67.2 VITA-Bench 41.8 43.0 29.1 36.9 35.6 DeepPlanning 22.6 24.0 22.8 16.2 25.9 Tool Decathlon 31.5 21.2 28.7 12.0 26.9 MCPMark 36.3 18.1 27.0 14.2 37.0 MCP-Atlas 68.4 57.2 62.4 50.0 62.8 WideSearch 66.4 35.2 59.1 38.3 60.1 Knowledge MMLU-Pro 86.1 85.2 85.3 82.6 85.2 MMLU-Redux 93.2 93.7 93.3 92.7 93.3 SuperGPQA 65.6 65.7 63.4 61.4 64.7 C-Eval 90.5 82.6 90.2 82.5 90.0 STEM & Reasoning GPQA 85.5 84.3 84.2 82.3 86.0 HLE 24.3 19.5 22.4 8.7 21.4 LiveCodeBench v6 80.7 80.0 74.6 77.1 80.4 HMMT Feb 25 92.0 88.7 89.0 91.7 90.7 HMMT Nov 25 89.8 87.5 89.2 87.5 89.1 HMMT Feb 26 84.3 77.2 78.7 79.0 83.6 IMOAnswerBench 79.9 74.5 76.8 74.3 78.9 AIME26 92.6 89.2 91.0 88.3 92.7

• Seria SWE-Bench: Wewnętrzny szkielet agenta (narzędzia bash + edycja plików); temp=1.0, top_p=0.95, okno kontekstu 200K. Poprawiamy niektóre problematyczne zadania w publicznym zestawie SWE-bench Pro i oceniamy wszystkie linie bazowe na udoskonalonym benchmarku.
• Terminal-Bench 2.0: Środowisko Harbor/Terminus-2; limit czasu 3h, 32 CPU/48 GB RAM; temp=1.0, topp=0.95, topk=20, max_tokens=80K, 256K ctx; średnia z 5 uruchomień.
• SkillsBench: Oceniane przez OpenCode na 78 zadaniach (samodzielny podzbiór, z wyłączeniem zadań zależnych od API); średnia z 5 uruchomień.
• NL2Repo: Inne oceniane przez Claude Code (temp=1.0, topp=0.95, maxturns=900).
• QwenClawBench: Wewnętrzny benchmark agenta Claw oparty na rzeczywistej dystrybucji użytkowników (wkrótce open-source); temp=0.6, 256K ctx.
• QwenWebBench: Wewnętrzny benchmark generowania kodu frontendowego; dwujęzyczny (EN/CN), 7 kategorii (Projektowanie stron, Aplikacje webowe, Gry, SVG, Wizualizacja danych, Animacja i 3D); automatyczne renderowanie + multimodalny sędzia (poprawność kodu/wizualna); system oceny BT/Elo.
• TAU3-Bench: Używamy oficjalnego modelu użytkownika (gpt-5.2, niski wysiłek rozumowania) + domyślne wyszukiwanie BM25.
• VITA-Bench: Średnie wyniki poddomen; używając claude-4-sonnet jako sędziego, ponieważ oficjalny sędzia (claude-3.7-sonnet) nie jest już dostępny.
• MCPMark: GitHub MCP v0.30.3; odpowiedzi Playwright przycięte do 32K tokenów.
• MCP-Atlas: Wynik zestawu publicznego; sędzia gemini-2.5-pro.
• AIME 26: Używamy pełnego AIME 2026 (I i II), gdzie wyniki mogą różnić się od notatek Qwen 3.5.