Mistral: Ministral 3 8B 2512

Ministral 3 8B Instruct 2512 Zrównoważony model w rodzinie Ministral 3, Ministral 3 8B to potężny, wydajny mały model językowy z możliwościami wizji. Ten model jest wersją po treningu instruktażowym w FP8, dostosowaną do zadań instruktażowych, co czyni go idealnym do zastosowań opartych na czacie i instrukcjach. Rodzina Ministral 3 została zaprojektowana do wdrożeń na krawędzi, zdolna do działania na szerokim zakresie sprzętu. Ministral 3 8B może być nawet wdrażany lokalnie, mieszcząc się w 12 GB VRAM w FP8, a jeszcze mniej, jeśli zostanie dodatkowo skwantyzowany. Kluczowe cechy Ministral 3 8B składa się z dwóch głównych komponentów architektonicznych:

• 8.4B Model Językowy
• 0.4B Kodowanie Wizji Model Ministral 3 8B Instruct oferuje następujące możliwości:
• Wizja: Umożliwia modelowi analizowanie obrazów i dostarczanie informacji na podstawie treści wizualnej, oprócz tekstu.
• Wielojęzyczność: Obsługuje dziesiątki języków, w tym angielski, francuski, hiszpański, niemiecki, włoski, portugalski, niderlandzki, chiński, japoński, koreański, arabski.
• System Prompt: Utrzymuje silne przestrzeganie i wsparcie dla systemowych podpowiedzi.
• Agentic: Oferuje najlepsze w swojej klasie możliwości agentowe z natywnym wywoływaniem funkcji i generowaniem JSON.
• Optymalizacja na krawędzi: Zapewnia najlepszą w swojej klasie wydajność w małej skali, możliwą do wdrożenia wszędzie.
• Licencja Apache 2.0: Licencja open-source pozwalająca na użycie i modyfikację zarówno do celów komercyjnych, jak i niekomercyjnych.
• Duże Okno Kontekstowe: Obsługuje okno kontekstowe o wielkości 256k. Przykłady użycia

Idealny do zrównoważonej wydajności w lokalnych lub wbudowanych systemach, łącząc wszechstronność z efektywnością.

• Interfejsy czatu w ograniczonych środowiskach
• Lokalny asystent AI do codziennego użytku
• Opis i zrozumienie obrazów/dokumentów
• Tłumaczenie i generowanie treści
• Specjalistyczne przypadki użycia agentowego
• Dostosowywanie i specjalizacja
• I więcej… Wprowadzanie zaawansowanych możliwości AI do środowisk z ograniczonymi zasobami. Zalecamy wdrażanie zgodnie z następującymi najlepszymi praktykami:
• System Prompt: Zdefiniuj jasne środowisko i przypadek użycia, w tym wskazówki dotyczące skutecznego wykorzystania narzędzi w systemach agentowych.
• Parametry próbkowania: Użyj temperatury poniżej 0.1 w codziennych i produkcyjnych środowiskach; Wyższe temperatury mogą być badane w kreatywnych przypadkach użycia – deweloperzy są zachęcani do eksperymentowania z alternatywnymi ustawieniami.
• Narzędzia: Utrzymuj zestaw narzędzi dobrze zdefiniowany i ogranicz ich liczbę do minimum wymaganego dla danego przypadku użycia – Unikaj przeciążania modelu nadmierną liczbą narzędzi.
• Wizja: Przy wdrażaniu z możliwościami wizji zalecamy utrzymanie proporcji bliskiej 1:1 (szerokość do wysokości) dla obrazów. Unikaj używania zbyt cienkich lub szerokich obrazów – przycinaj je w razie potrzeby, aby zapewnić optymalną wydajność.