MAGI-2-preview

Magi-2 Preview to model generacji audio-wideo z 114B parametrami, który aktywuje tylko 6B parametrów na token. Zbudowany na MagiMoE i współprojektowany w zakresie architektury, systemów i danych, bada efektywną ścieżkę do skalowania generacji wideo. Architektura, system szkoleniowy zbudowany wokół niej oraz pipeline danych są opisane w MAGI-2 Preview: Efektywne Skalowanie Modeli Generacji Wideo; wagi są dostępne na Hugging Face pod adresem sand-ai/MAGI-2-preview. To repozytorium zawiera kod inferencyjny. Generuje wideo z podpowiedzi tekstowej (T2V) lub z podpowiedzi plus statyczny obraz (I2V), z dźwiękiem generowanym równolegle z wideo i muxowanym do pliku wyjściowego. Klipy mają długość 10 sekund, co jest jedyną obsługiwaną obecnie długością przez model. Generacja odbywa się w dwóch etapach: magi2_preview odszumia klip w niskiej rozdzielczości, a magi2_refiner podnosi ten wynik do 1080p.

• NVIDIA Hopper GPU, 8 z nich.
• Python 3.12 i niedawny zestaw narzędzi CUDA. – ffmpeg w PATH, aby muxować ścieżkę audio. Bez tego wideo jest nadal zapisywane, tylko bez dźwięku. Opublikowany obraz, sandai/magi-2-preview, ma już zbudowane zależności, w tym te, które wymagają kompilatora: Istnieje również tag dla każdego commita, sandai/magi-2-preview:. Nazwij ten tag przy zgłaszaniu wyniku, ponieważ latest się zmienia; obraz również rejestruje, z czego został zbudowany w /etc/magi2-build-info. Budowanie go samodzielnie jest konieczne tylko w celu zmiany wersji zależności lub pracy w miejscu, gdzie rejestr jest niedostępny: MAGI-2 wymaga również MagiAttention i MagiCompiler. Zablokowane rewizje są rejestrowane jako argumenty budowy w Dockerfile. Wagi nie są dołączane do kodu. Wszystko, co ładowany pipeline, znajduje się w jednym repozytorium Hugging Face, sand-ai/MAGI-2-preview, w sumie około 307 GB. Pobierz je do ckpt/ w głównym katalogu repozytorium, które jest ignorowane przez git: