Mistral: Mistral Small 4

Mistral Small 4 to potężny model hybrydowy, który może działać zarówno jako model ogólnych instrukcji, jak i model rozumowania. Łączy możliwości trzech różnych rodzin modeli—Instruct, Reasoning (wcześniej nazywany Magistral) oraz Devstral—w jeden, zintegrowany model. Dzięki swoim multimodalnym możliwościom, efektywnej architekturze i elastycznemu przełączaniu trybów, jest to potężny model ogólnego przeznaczenia do każdego zadania. W konfiguracji zoptymalizowanej pod kątem opóźnień, Mistral Small 4 osiąga 40% redukcji czasu realizacji od początku do końca, a w konfiguracji zoptymalizowanej pod kątem przepustowości obsługuje 3 razy więcej zapytań na sekundę w porównaniu do Mistral Small 3. Aby dodatkowo poprawić efektywność, można skorzystać z:

• Dekodowania spekulacyjnego dzięki naszemu wytrenowanemu modelowi mistralai/Mistral-Small-4-119B-2603-eagle.
• Kwantyzacji precyzji 4 bitów zmiennoprzecinkowych dzięki naszemu punktowi kontrolnemu NVFP4 mistralai/Mistral-Small-4-119B-2603-NVFP4. Mistral Small 4 zawiera następujące wybory architektoniczne:
• MoE: 128 ekspertów, 4 aktywne.
• 119B parametrów, z 6.5B aktywowanymi na token.
• 256k długości kontekstu.
• Multimodalny input: Akceptuje zarówno tekst, jak i obrazy, z wyjściem tekstowym.
• Funkcjonalności Instruct i Reasoning z wywołaniami funkcji (wysiłek rozumowania konfigurowalny na żądanie). Mistral Small 4 oferuje następujące możliwości:
• Tryb rozumowania: Przełączanie między trybem szybkiej odpowiedzi a trybem rozumowania, zwiększając wydajność przy obliczeniach w czasie testu na żądanie.
• Wizja: Analizuje obrazy i dostarcza spostrzeżenia na podstawie treści wizualnej, oprócz tekstu.
• Wielojęzyczność: Obsługuje dziesiątki języków, w tym angielski, francuski, hiszpański, niemiecki, włoski, portugalski, niderlandzki, chiński, japoński, koreański i arabski.
• System Prompt: Silne przestrzeganie i wsparcie dla systemowych podpowiedzi.
• Agentic: Najlepsze w swojej klasie możliwości agentowe z natywnym wywoływaniem funkcji i wyjściem JSON.
• Optymalizacja prędkości: Oferuje najlepszą w swojej klasie wydajność i prędkość.
• Licencja Apache 2.0: Licencja open-source zarówno do użytku komercyjnego, jak i niekomercyjnego.
• Duże okno kontekstowe: Obsługuje okno kontekstowe o długości 256k.
• Wysiłek rozumowania: – 'none' → Nie używaj rozumowania – 'high' → Użyj rozumowania (zalecane dla złożonych podpowiedzi) Użyj reasoning_effort="high" dla złożonych zadań – Temperatura: 0.7 dla reasoning_effort="high". Temperatura między 0.0 a 0.7 dla reasoning_effort="none" w zależności od zadania.