Ling 3.0 Flash

Ling 3.0 Flash — oszczędny model MoE do agentów i kodowania

Ling 3.0 Flash to otwarty model językowy firmy InclusionAI, zaprojektowany z myślą o rozumowaniu, programowaniu i długich zadaniach agentowych. Producent opisuje go jako następcę znacznie większego Ring 2.6 1T. Model ma około 124 mld parametrów, lecz podczas przetwarzania pojedynczego tokenu aktywuje około 5,1 mld. Takie podejście ma łączyć możliwości dużego modelu z niższym kosztem obliczeń podczas inferencji. Wagi udostępniono na licencji MIT.

Architektura i kontekst

• Hybrydowa uwaga: model przeplata 35 warstw Kimi Delta Attention z 7 warstwami Gated MLA w proporcji 5:1. Producent wskazuje tę konstrukcję jako sposób na sprawniejszą obsługę długiego kontekstu.
• Mixture of Experts: architektura zawiera 512 ekspertów routowanych, jednego eksperta współdzielonego i osiem ekspertów aktywowanych dla tokenu.
• Duże okno kontekstowe: harmonogram treningu rozszerzano od 8 tys. przez 32 tys. do 256 tys. tokenów. Oficjalne konfiguracje uruchomieniowe również przewidują kontekst do 262 144 tokenów.
• Tryb rozumowania: szablon rozmowy domyślnie włącza rozumowanie, ale pozwala je wyłączyć dla zadań, w których ważniejsze są szybkość i krótsza odpowiedź.
• Narzędzia: karta modelu i szablon czatu przewidują wywoływanie funkcji, co pozwala budować agentów współpracujących z zewnętrznymi systemami.

Najważniejsze zastosowania

Ling 3.0 Flash jest kierowany przede wszystkim do agentów programistycznych, pracy na repozytoriach, rozwiązywania problemów matematycznych, wyszukiwania informacji i wieloetapowej realizacji zadań. InclusionAI informuje o treningu obejmującym ponad 10 tys. interaktywnych środowisk dla zadań związanych z kodowaniem, agentami ogólnymi i pogłębionym wyszukiwaniem. Karta wymienia testy takie jak SWE-Bench Pro, SWE-Bench Multilingual, Terminal-Bench, MCP-Atlas i SkillsBench, ale część wyników pochodzi z procedur wewnętrznych producenta. Przed wdrożeniem warto więc sprawdzić model na własnych scenariuszach, w tym osobno na poleceniach w języku polskim.

Wdrożenie i ograniczenia

Niska liczba aktywnych parametrów nie oznacza małego pliku ani prostego uruchomienia. Repozytorium BF16 zajmuje około 255 GB, a oficjalny przepis dla pełnego kontekstu zakłada konfiguracje wieloprocesorowe. Producent udostępnia instrukcje dla SGLang i własnej gałęzi vLLM; obie ścieżki wymagają świadomego dobrania wersji środowiska, a wariant vLLM korzysta z kodu dostarczonego wraz z modelem. Przed użyciem trust_remote_code należy przejrzeć i przypiąć konkretną rewizję repozytorium. Model może tworzyć odpowiedzi błędne lub nieaktualne, a jego jakość w języku polskim nie została w karcie udokumentowana osobnym zestawem testów.

Źródło: Hugging Face — InclusionAI/Ling-3.0-flash.