s2-pro

Raport techniczny | GitHub | Plac zabaw Fish Audio S2 Pro to wiodący model tekst-na-mowę (TTS) z precyzyjną kontrolą prosodii i emocji w czasie rzeczywistym. Wytrenowany na ponad 10M+ godzin danych audio w ponad 80 językach, system łączy dopasowanie uczenia przez wzmocnienie z architekturą dual-autoregresywną. Wydanie zawiera wagi modelu, kod do fine-tuningu oraz silnik wnioskowania strumieniowego oparty na SGLang. S2 Pro opiera się na transformatorze tylko dekodera połączonym z kodekiem audio opartym na RVQ (10 książek kodów, ~21 Hz częstotliwości klatek) używając architektury Dual-Autoregressive (Dual-AR):

• Slow AR (4B parametrów): Działa wzdłuż osi czasu i przewiduje główną semantyczną książkę kodów.
• Fast AR (400M parametrów): Generuje pozostałe 9 książek kodów resztkowych w każdym kroku czasowym, rekonstruując szczegółowe akustyczne detale. Ten asymetryczny projekt utrzymuje efektywność wnioskowania przy zachowaniu wierności audio. Ponieważ architektura Dual-AR jest strukturalnie izomorficzna do standardowych autoregresywnych LLM, dziedziczy wszystkie optymalizacje serwowania charakterystyczne dla LLM z SGLang — w tym ciągłe grupowanie, pamięć podręczną KV z paginacją, odtwarzanie grafów CUDA i pamięć podręczną prefiksów opartą na RadixAttention. S2 Pro umożliwia lokalizowaną kontrolę nad generowaniem mowy poprzez osadzanie instrukcji w naturalnym języku bezpośrednio w tekście za pomocą składni [tag]. Zamiast polegać na stałym zestawie zdefiniowanych tagów, S2 Pro akceptuje opisy tekstowe w formie wolnej — takie jak [whisper in small voice], [professional broadcast tone] lub [pitch up] — co pozwala na otwartą kontrolę ekspresji na poziomie słowa. Typowe tagi (15,000+ unikalnych tagów wspieranych): [pause] [emphasis] [laughing] [inhale] [chuckle] [tsk] [singing] [excited] [laughing tone] [interrupting] [chuckling] [excited tone] [volume up] [echo] [angry] [low volume] [sigh] [low voice] [whisper] [screaming] [shouting] [loud] [surprised] [short pause] [exhale] [delight] [panting] [audience laughter] [with strong accent] [volume down] [clearing throat] [sad] [moaning] [shocked]