Qwen: Qwen3 Coder 480B A35B

Dziś ogłaszamy Qwen3-Coder, nasz najbardziej agentowy model kodowania do tej pory. Qwen3-Coder jest dostępny w wielu rozmiarach, ale z radością przedstawiamy najpotężniejszą jego wersję: Qwen3-Coder-480B-A35B-Instruct. Oferuje on następujące kluczowe ulepszenia:

• Znacząca wydajność wśród otwartych modeli w zakresie Agentic Coding, Agentic Browser-Use oraz innych podstawowych zadań kodowania, osiągając wyniki porównywalne z Claude Sonnet.
• Możliwości długiego kontekstu z natywnym wsparciem dla 256K tokenów, rozszerzalne do 1M tokenów przy użyciu Yarn, zoptymalizowane do zrozumienia na poziomie repozytoriów.
• Agentic Coding wspierające większość platform, takich jak Qwen Code, CLINE, z specjalnie zaprojektowanym formatem wywołania funkcji. Qwen3-480B-A35B-Instruct ma następujące cechy:
• Typ: Modele językowe przyczynowe
• Etap treningu: Wstępne szkolenie i szkolenie po
• Liczba parametrów: 480B w sumie i 35B aktywowanych
• Liczba warstw: 62
• Liczba głowic uwagi (GQA): 96 dla Q i 8 dla KV
• Liczba ekspertów: 160
• Liczba aktywowanych ekspertów: 8
• Długość kontekstu: 262,144 natywnie. UWAGA: Ten model obsługuje tylko tryb bez myślenia i nie generuje bloków w swoim wyjściu. W międzyczasie, określenie enable_thinking=False nie jest już wymagane. Aby uzyskać więcej szczegółów, w tym ocenę benchmarków, wymagania sprzętowe i wydajność wnioskowania, prosimy o zapoznanie się z naszym blogiem, GitHubem i dokumentacją. Zalecamy korzystanie z najnowszej wersji transformers. Poniżej znajduje się fragment kodu ilustrujący, jak używać modelu do generowania treści na podstawie podanych danych wejściowych. Uwaga: Jeśli napotkasz problemy z pamięcią (OOM), rozważ skrócenie długości kontekstu do krótszej wartości, takiej jak 32,768.