Laguna-XS-2.1

Laguna XS 2.1 Laguna XS 2.1 to model Mixture-of-Experts z 33B całkowitych parametrów i 3B aktywowanych parametrów na token, zaprojektowany do agentycznego kodowania i pracy na długich horyzontach na lokalnej maszynie. Ten model jest ulepszoną wersją naszego modelu Laguna XS.2 z wzrostem o +5.4% w teście SWE-bench Multilingual oraz lepszą wydajnością w zadaniach terminalowych. > [!NOTE]

Aby uzyskać więcej informacji na temat naszego treningu, w tym automiksowania danych i asynchronicznego RL poza polityką agenta, zapoznaj się z naszym niedawnym raportem technicznym. Najważniejsze cechy

• Mieszany układ SWA i globalnej uwagi: Laguna XS 2.1 wykorzystuje bramkowanie sigmoidalne z obrotowymi skalami na poziomie warstwy, co umożliwia mieszane warstwy SWA (Sliding Window Attention) i globalnej uwagi w proporcji 3:1 (w łącznie 40 warstwach)
• Cache KV w FP8: Cache KV skwantyzowane do FP8, co zmniejsza pamięć na token
• Wsparcie dla rozumowania: Przeplatane myślenie między wywołaniami narzędzi z możliwością włączania i wyłączania myślenia na żądanie
• Gotowość lokalna: Przy 33B całkowitych parametrów i 3B aktywowanych, Laguna XS 2.1 jest wystarczająco kompaktowa, aby działać na Macu z 36 GB RAM. Dostępna na Ollama i llama.cpp. Wysokiej jakości warianty skwantyzowane FP8, NVFP4 i INT4 dostępne (zobacz kolekcję)
• Licencja OpenMDW-1.1: Używaj i modyfikuj model oraz związane materiały swobodnie do celów komercyjnych i niekomercyjnych (dowiedz się więcej o OpenMDW) – Trening: etapy wstępnego treningu, treningu po i uczenia przez wzmocnienie
• Liczba parametrów: 33B całkowitych z 3B aktywowanymi na token
• Optymalizator: Muon
• Warstwy: 40 warstw (10 warstw z globalną uwagą, 30 warstw z uwagą okna przesuwnego)
• Eksperci: 256 ekspertów z 1 wspólnym ekspertem
• Okno przesuwne: 512 tokenów
• Modalność: tekst-do-tekstu
• Okno kontekstu: 262,144 tokenów
• Wsparcie dla rozumowania: przeplatane myślenie z zachowanym myśleniem

Model	Rozmiar (całkowite parametry)	Zweryfikowane SWE-bench	SWE-bench Multilingual	SWE-Bench Pro (Public Dataset)	Terminal-Bench 2.0
Laguna XS 2.1	33B	70.9%	63.1%	47.6%	37.5%
Laguna XS.2	33B	69.9%	57.7%	46.3%	35.7%
Qwen3.6-35B-A3B	35B	73.4%	67.2%	49.5%	51.5%
North Mini Code	30B	67.6%	–	40.2%	36.0%
MAI-Code-1-Flash	137B	71.6%	65.5%	51.2%	54.8%
gpt-oss-120B	120B	–	–	16.2%	18.7%
Claude Haiku 4.5	–	73.3%	–	39.5%	29.8%

GPT-5.4 Nano · – · – · – · 52.4% · 46.3% · Użyliśmy najwyższych publicznie referencyjnych wyników dla wszystkich modeli porównawczych w każdym teście. We wszystkich przypadkach były to oficjalne wyniki opublikowane w postach blogowych lub równoważnych, z wyjątkiem gpt-oss-120b i Claude Haiku 4.5, gdzie najwyższe opublikowane (zweryfikowane) wyniki dla SWE-Bench Pro i Terminal-Bench 2.0 pochodzą z ich odpowiednich oficjalnych rankingów. Wszystkie testy dla Laguna XS 2.1 zostały przeprowadzone przy użyciu Harbor Framework Instytutu Laude z naszym uchwytem agenta, z maksymalnie 500 krokami i wykonaniem w piaskownicy. Te same parametry próbkowania były używane dla wszystkich testów Laguna XS 2.1: temperatura=1.0, topk=20 i topp=1, z włączonym trybem myślenia i długością kontekstu 256K tokenów. Wszystkie zadania były uruchamiane w swojej własnej piaskownicy przy użyciu 8 GB RAM/2 CPU, z wyjątkiem Terminal-Bench 2.0, który używał 48 GB RAM/32 CPU. Niektóre obrazy zadań bazowych i weryfikatory zostały poprawione, aby naprawić problemy z niezawodnością infrastruktury inherentne w konfiguracji zadań, takie jak limity szybkości na zależnościach zewnętrznych używanych przez weryfikator. Wszystkie cztery testy agentów zostały przeprowadzone z poprawionymi obrazami. Przeprowadziliśmy również ocenę po fakcie na wynikach ewaluacji Laguna XS 2.1 i nie znaleźliśmy istotnego oszustwa nagród po wspólnej ocenie sędziów i przeglądzie ręcznym.