Solar-Open2-250B

Solar Open 2 to model językowy o dużej wadze i otwartej architekturze 250B-A15B firmy Upstage, stworzony do zastosowań agentowych, takich jak produktywność biurowa, prace intensywne w dokumentach i kodowanie. Jego architektura Hybrid-Attention Mixture-of-Experts (MoE) z liniową uwagą zapewnia wysoce efektywną inferencję nawet w długich kontekstach. Raport techniczny | Blog | Strona internetowa Upstage – Specjalista agentowy: Stworzony specjalnie do przepływów pracy agentowych — wywoływanie narzędzi, wieloetapowe rozumowanie i realizacja zadań od początku do końca. Konkurencyjny z najsilniejszymi modelami o otwartej wadze w benchmarkach agentowych.

• Minimalny koszt inferencji: Model MoE o 250B parametrach, który aktywuje tylko 15B na token, zbudowany na hybrydowej stosie uwagi, który przeplata trzy warstwy liniowej uwagi z jedną warstwą uwagi softmax — duża pojemność modelu przy niskim koszcie inferencji modelu.
• Kontext 1M-Token: Warstwy liniowej uwagi kodują kolejność tokenów wewnętrznie w swoim stanie rekurencyjnym, więc kodowanie pozycyjne jest całkowicie usunięte (NoPE), podnosząc limit ekstrapolacji RoPE. Tylko 12 z 48 warstw przechowuje pamięć KV, trzymając pamięć długiego kontekstu na poziomie około jednej czwartej modelu all-softmax o tym samym kształcie.
• Efektywnie trenowany przy niskim koszcie: Zainicjowany przez selektywny transfer wag z Solar Open 1 (102B) — tylko 2.3% wag, które przetrwały zmianę architektoniczną, są przenoszone, a wszystko inne jest losowo inicjowane — co podnosi punkt startowy i przyspiesza wczesną konwergencję na poziomie 250B.
• Wielojęzyczny: Angielski, koreański i japoński.

Pole	Wartość
Nazwa modelu	Solar Open 2 (250B-A15B)
Architektura	Hybrid-Attention Mixture-of-Experts (MoE)
Łączna liczba parametrów	250B (250,287,794,944)
Aktywne parametry	15B (na token)
Warstwy	48
Rozmiar ukryty	4096
Uwaga	Hybrydowa — Softmax + Liniowa Uwaga, wzór [Softmax, Linear×3] × 12
Kodowanie pozycyjne	NoPE (brak kodowania pozycyjnego rotacyjnego)
Liczba głów uwagi (GQA)	(Softmax) 64 zapytanie / 8 KV, (Liniowa) 64 zapytanie
Liczba ekspertów	321 (320 routowane + 1 współdzielone)
Liczba aktywowanych ekspertów	8 routowane (top-8) + 1 współdzielone
Słownik	196,608
Długość kontekstu	1M
Tokeny wstępnego treningu	~12 bilion
Obsługiwane języki	Angielski, koreański, japoński
Sprzęt do treningu	NVIDIA B200 GPU
Czas GPU treningu	2M godziny GPU
Licencja	Licencja Upstage Solar (zobacz LICENCJA)
Wymagania sprzętowe	Minimum: H200 \ 4ea / Zalecane: H200 \ 8ea