Mistral: Voxtral Small 24B 2507

Voxtral Small to ulepszenie modelu Mistral Small 3, które integruje najnowocześniejsze możliwości wejścia audio, zachowując jednocześnie najlepszą w swojej klasie wydajność tekstową. Doskonale radzi sobie z transkrypcją mowy, tłumaczeniem i rozumieniem audio. Dowiedz się więcej o Voxtral w naszym poście na blogu tutaj i naszej pracy badawczej. Voxtral opiera się na Mistral Small 3 z zaawansowanymi możliwościami rozumienia audio.

• Dedykowany tryb transkrypcji: Voxtral może działać w czystym trybie transkrypcji mowy, aby zmaksymalizować wydajność. Domyślnie Voxtral automatycznie przewiduje język źródłowego audio i transkrybuje tekst odpowiednio.
• Kontekst długiej formy: Z długością kontekstu 32 tys. tokenów, Voxtral obsługuje nagrania audio do 30 minut w przypadku transkrypcji lub 40 minut w przypadku rozumienia.
• Wbudowane Q&A i podsumowywanie: Obsługuje zadawanie pytań bezpośrednio przez audio. Analizuj audio i generuj strukturalne podsumowania bez potrzeby oddzielnych modeli ASR i językowych.
• Natywnie wielojęzyczny: Automatyczne wykrywanie języka i najnowocześniejsza wydajność w najczęściej używanych językach świata (angielski, hiszpański, francuski, portugalski, hindi, niemiecki, niderlandzki, włoski).
• Wywoływanie funkcji bezpośrednio z głosu: Umożliwia bezpośrednie wyzwalanie funkcji backendowych, przepływów pracy lub wywołań API na podstawie wypowiedzianych intencji użytkownika.
• Wysoce wydajny w zakresie tekstu: Zachowuje możliwości rozumienia tekstu swojego szkieletowego modelu językowego, Mistral Small 3.1. Średni wskaźnik błędów słów (WER) w benchmarkach FLEURS, Mozilla Common Voice i Multilingual LibriSpeech:

Model może być używany z następującymi frameworkami:

• vllm (zalecany): Zobacz tutaj
• Transformers ?: Zobacz tutaj
• temperature=0.2 i top_p=0.95 do uzupełniania czatu (np. rozumienie audio) oraz temperature=0.0 do transkrypcji
• Obsługiwane jest wiele nagrań audio na wiadomość i wiele tur użytkownika z audio
• Obsługiwane jest wywoływanie funkcji
• Pytania systemowe nie są jeszcze obsługiwane

Zalecamy używanie tego modelu z vLLM. Upewnij się, że zainstalowano vllm >= 0.10.0, zalecamy używanie uv.