GigaAM-Multilingual

GigaAM Multilingual to rodzina modeli bazowych opartych na Conformer (220M / 600M parametrów), wstępnie wytrenowanych z celem w stylu HuBERT na 2M godzinach mowy w ponad 70 językach i dostosowanych do rozpoznawania mowy z użyciem dekoderów CTC na poziomie znaków na 50K godzinach. Modele zapewniają jakość open-source w najlepszej klasie w języku rosyjskim, kazachskim, kirgiskim i uzbeckim oraz umiarkowaną jakość w języku angielskim. GigaAM Multilingual obejmuje następujące warianty modeli:

• ssl — 220M samonadzorowany enkoder
• ctc — 220M model ASR z dekoderem CTC na poziomie znaków
• large_ssl — 600M samonadzorowany enkoder
• large_ctc — 600M model ASR z dekoderem CTC na poziomie znaków

Wskaźnik błędów słownych (%) na zestawach testowych Common Voice (CV), FLEURS i wewnętrznych zestawach testowych w terenie. Wypowiedzi dłuższe niż 30 s oraz odniesienia zawierające cyfry są wykluczone; odniesienia/hipotezy są normalizowane (małe litery, usunięcie interpunkcji, cyfry→słowa); dekodowanie zachłanne. Najlepsze wiersze w pogrubieniu.

Język	Zestaw danych	GigaAM Multilingual	GigaAM Multilingual Large	Omnilingual 1B (LLM)	Seamless M4T large v2	Whisper large v3
Angielski	CV	26.0	21.5	24.7	16.2	20.0
Angielski	FLEURS	12.2	9.4	7.1	5.8	3.9
Rosyjski	CV	7.1	5.1	13.6	9.2	9.1
Rosyjski	FLEURS	4.4	3.0	6.4	4.6	3.1
Rosyjski	Wewnętrzny	7.6	6.0	14.6	16.1	10.1
Kazachski	CV	17.2	13.8	23.7	23.8	57.8
Kazachski	FLEURS	5.2	4.4	6.6	6.8	32.4
Kazachski	Wewnętrzny	18.8	15.8	32.2	62.9	65.2
Kirgiski	CV	12.5	10.2	21.6	14.3	95.2
Kirgiski	FLEURS	7.0	5.5	8.1	9.5	86.3
Kirgiski	Wewnętrzny	11.1	9.8	25.0	78.3	102.2
Uzbecki	CV	11.3	9.2	32.8	25.1	109.9
Uzbecki	FLEURS	10.0	7.3	15.4	11.9	105.4
Uzbecki	Wewnętrzny	13.8	12.7	30.2	40.0	120.6

Rekomendowane wersje:

• torch==2.10.*, torchaudio==2.10.*
• transformers==5.*
• (dowolna) hydra-core, omegaconf Pełny przewodnik użytkowania można znaleźć w przykładzie. Podstawy ssl / large_ssl można dostosować do nowego języka — zobacz przewodnik po dostosowywaniu i przykładowy notatnik.