JoyAI-Video-Edit

JoyAI-Video-EditReal-Time Open-Ended Video Editing with Autoregressive Diffusion Arxiv Projekt Hugging Face ModelScope Licencja JoyAI-Video-Edit to system edycji wideo w czasie rzeczywistym, kierowany instrukcjami, przeznaczony do otwartych strumieni wideo. Dany strumień z kamery na żywo lub przesłane wideo oraz instrukcja edycji w naturalnym języku, edytuje klatki w sposób przyczynowy w miarę ich przybywania, bez oczekiwania na pełne wideo, wymagania wstępnie zdefiniowanej długości wideo lub ponownego odwiedzania przyszłych klatek. W naszym benchmarku wdrożeniowym, pełny pipeline end-to-end osiąga 30.19 FPS przy 720×1280, przesuwając edycję wideo z offline'owego przetwarzania wsadowego w kierunku interaktywnej generacji strumieniowej. System łączy enkoder warunkowy oparty na MLLM, przyczynowy VAE wideo oraz multimodalny transformator dyfuzji o 16B parametrach. Jest trenowany i wdrażany jako edytor dyfuzyjny autoregresywny, a następnie przyspieszany za pomocą dopasowania rozkładu autoregresywnego, optymalizacji długohoryzontalnej, ograniczonego wnioskowania KV-state oraz harmonogramowania zorientowanego na wdrożenie, aby utrzymać wysokowydajną edycję 720p, jednocześnie redukując niedopasowanie między treningiem a wnioskowaniem oraz skumulowany dryf czasowy.

• Edycja w czasie rzeczywistym o otwartym końcu. Edytuje filmy na żywo lub przesłane wideo w miarę przybywania klatek, bez konieczności posiadania pełnej sekwencji z góry.
• Różnorodna kontrola instrukcji. Obsługuje edycje tematyczne, lokalne edycje, zmiany tła, transfer stylu, zmiany ruchu oraz edycję kierowaną odniesieniem.
• Projekt dyfuzji autoregresywnej. Łączy enkoder warunkowy MLLM, przyczynowy VAE wideo oraz rdzeń MMDiT do edycji wideo strumieniowego.
• Wdrożenie o wysokiej wydajności 720p. Osiąga 30.19 FPS wydajności end-to-end przy 720×1280 z ograniczonym wnioskowaniem KV-state i stabilnym obliczeniem na kawałku. Pobierz wydane wagi z powyższego linku Hugging Face. MiMo-VL i pliki detektora ONNX są zewnętrznymi zależnościami czasu wykonania; zobacz DEPLOYMENT.md po szczegóły wdrożenia. Dla zdalnych maszyn, powiąż serwer z 0.0.0.0 i otwórz wybrany port, lub użyj przekierowania portu SSH. Pobierz wydane wagi JoyAI-Video-Edit z Hugging Face, a następnie umieść je pod: