MiniMax: MiniMax M3

MiniMax-M3 to natywny model multimodalny z kontekstem 1M. Ma około 428B parametrów i około 23B aktywnych parametrów.

Najważniejsze cechy:

• Natywna multimodalność: M3 przechodzi mieszane modalnie trenowanie od pierwszego kroku, umożliwiając głębszą fuzję semantyczną między tekstem, obrazem i wideo.
• Skalowanie kontekstu poprzez rzadką uwagę: M3 wprowadza MiniMax Sparse Attention (MSA), aby poprawić wydajność długiego kontekstu. M3 zapewnia 9× przyspieszenie prefill i 15× przyspieszenie dekodowania w porównaniu z M2 przy kontekście 1M, redukując obliczenia na token do 1/20.
• Możliwości kodowania i współpracy: M3 osiąga wydajność na poziomie granicznym w długoterminowych benchmarkach agentowych, doskonale radząc sobie zarówno w kodowaniu, jak i współpracy.

M3 jest zasilany przez MiniMax Sparse Attention (MSA), wysokowydajny operator rzadkiej uwagi zaprojektowany dla kontekstów miliona tokenów. W porównaniu z GQA, MSA radykalnie zmniejsza obliczenia uwagi i ślad pamięciowy, zachowując jakość modelu.

? Przeczytaj raport techniczny: arXiv:2606.13392 · Hugging Face Papers

M3 obsługuje trzy tryby rozumowania poprzez parametr thinking:

• enabled — Rozumowanie jest zawsze włączone.
• adaptive — M3 automatycznie określa, kiedy dodatkowe rozumowanie jest korzystne.
• disabled — Rozumowanie jest wyłączone, aby zminimalizować opóźnienia i zmaksymalizować przepustowość.

Zalecamy następujące frameworki wnioskowania do obsługi modelu:

• KTransformers — zobacz poradnik KTransformers MiniMax-M3.

Zalecamy następujące parametry dla najlepszej wydajności: temperature=1.0, top_p=0.95.