Xiaomi: MiMo-V2.5-Pro

? HuggingFace · ? Blog · ? Xiaomi MiMo API Platform · ?️ Xiaomi MiMo Studio · Community WeChat Group · Discord · Telegram · Reddit MiMo-V2.5-Pro to otwarty model językowy oparty na mieszance ekspertów (MoE) z łączną liczbą 1,02T parametrów i 42B aktywnymi parametrami. Wykorzystuje architekturę hybrydowej uwagi oraz 3-warstwową wielotokenową predykcję (MTP) wprowadzoną w MiMo-V2-Flash, z długością kontekstu do 1M tokenów. MiMo-V2.5-Pro to nasz najbardziej zaawansowany model do tej pory, zaprojektowany do najbardziej wymagających zadań agentowych, złożonej inżynierii oprogramowania i długoterminowych zadań. Obsługuje złożone trajektorie obejmujące tysiące wywołań narzędzi z silnym przestrzeganiem instrukcji i spójnością w oknie kontekstowym 1M tokenów. Kluczowe cechy obejmują:

• Hybrydowa architektura uwagi: Przeplata uwagę okienną przesuwną (SWA) i uwagę globalną (GA) w stosunku 6:1 z przesuwnym oknem 128. Zmniejsza to przechowywanie pamięci podręcznej KV prawie 7-krotnie, przy jednoczesnym utrzymaniu wydajności długiego kontekstu za pomocą uczonego obciążenia uwagi.
• Wielotokenowa predykcja (MTP): Wyposażony w trzy lekkie moduły MTP wykorzystujące gęste FFN. To potraja prędkość wyjściową podczas wnioskowania i będzie dobrą metodą przyspieszenia wdrożenia w treningu RL.
• Wydajne przedtrening: Trenowany na 27T tokenach z użyciem mieszanej precyzji FP8 i natywnej długości sekwencji 32k. Okno kontekstowe obsługuje do 1M tokenów.
• Zdolności agentowe: Potrening wykorzystuje SFT, wielkoskalowe agentowe RL i wielonauczycielską dystylację na-polityce (MOPD), osiągając doskonałą wydajność w najbardziej wymagających zadaniach agentowych, złożonej inżynierii oprogramowania i długoterminowych zadaniach.

Model	Całkowita liczba parametrów	Aktywna liczba parametrów	Długość kontekstu	Precyzja	Pobierz
MiMo-V2.5-Pro	1.02T	42B	1M	FP8 (E4M3) Mixed	? HuggingFace ? ModelScope
MiMo-V2.5-Pro-Base	1.02T	42B	256K	FP8 (E4M3) Mixed	? HuggingFace ? ModelScope

Kategoria	Benchmark	Ustawienie	MiMo-V2.5-Pro Base	MiMo-V2.5 Base	DeepSeek-V4-Pro Base	DeepSeek-V4-Flash Base	Kimi-K2 Base
Parametry	#Aktywowane / #Całkowite	–	42B / 1.02T	15B / 310B	49B / 1.6T	13B / 284B	32B / 1.04T
Ogólne	BBH	3-shot	88.4	87.2	87.5	86.9	88.7
	MMLU	5-shot	89.4	86.3	90.1	88.7	87.8
	MMLU-Redux	5-shot	92.8	89.8	90.8	89.4	90.2
	MMLU-Pro	5-shot	68.5	65.8	73.5	68.3	69.2
	DROP	3-shot	86.3	83.7	88.7	88.6	83.6
	ARC-Challenge	25-shot	97.2	96.5	–	–	96.2
	HellaSwag	10-shot	89.8	88.6	88.0	85.7	94.6
	WinoGrande	5-shot	85.6	84.7	81.5	79.5	85.3
	TriviaQA	5-shot	81.3	80.7	85.6	82.8	85.1
	GPQA-Diamond	5-shot	66.7	58.1	–	–	48.1
Matematyka	GSM8K	8-shot	99.6	83.3	92.6	90.8	92.1
	MATH	4-shot	86.2	67.7	64.5	57.4	70.2
	AIME 24&25	2-shot	37.3	36.9	–	–	31.6
Kod	HumanEval+	1-shot	75.6	71.3	–	–	84.8
	MBPP+	3-shot	74.1	70.9	–	–	73.8
	LiveCodeBench v6	1-shot	39.6	35.5	–	–	26.3
	SWE-Bench (AgentLess)	3-shot	35.7	30.8	–	–	28.2
Chiński	C-Eval	5-shot	91.5	88.6	93.1	92.1	92.5
	CMMLU	5-shot	90.2	88.2	90.8	90.4	90.9
Wielojęzyczny	GlobalMMLU	5-shot	83.6	77.4	–	–	80.7

GraphWalks to benchmark długiego kontekstu firmy OpenAI, który wypełnia prompt skierowanym grafem węzłów heksadecymalnych i prosi model o przeprowadzenie przeszukiwania wszerz (węzły dokładnie na głębokości N) lub wymienienie rodziców węzła. Oceniamy w pełnym zakresie wejściowych tokenów od 32k do 1M i stosujemy te same poprawki ewaluacyjne opisane przez Anthropic.