MiniCPM-RobotManip

MiniCPM-RobotManip — kompaktowy model VLA do manipulacji robotycznej

MiniCPM-RobotManip to otwarty model typu vision-language-action przeznaczony do sterowania robotem na podstawie obrazu, instrukcji i historii obserwacji. Karta OpenBMB opisuje go jako ogólną politykę manipulacji o skali 1,5 mld parametrów, wykorzystującą jeden zestaw wag w wielu zadaniach. Model nie jest klasycznym chatbotem: jego głównym zastosowaniem jest podejmowanie kolejnych działań przez robota w środowisku fizycznym.

Najważniejsze cechy

• Jedna polityka dla wielu zadań: ten sam model może być stosowany do różnych scenariuszy manipulacji bez osobnej sieci dla każdego zadania.
• Kontekst strumieniowy: kolejne obserwacje są włączane do kontekstu, dzięki czemu decyzje uwzględniają historię, a nie tylko pojedynczą klatkę obrazu.
• Pamięć wizualna: oficjalna karta raportuje zachowanie 60 klatek historii i do około minuty kontekstu wizualnego.
• Efektywna inferencja: kompresja tokenów wizualnych zmniejsza reprezentację klatki z 256 do 64 tokenów. Autorzy podają również spadek kosztu kroku ze 125 do 3,3 TFLOPs w konfiguracji strumieniowej.
• Mały profil wdrożeniowy: model dziedziczy rozwiązania wizualne z MiniCPM-V 4.6 i został zaprojektowany z myślą o szybkiej pracy blisko urządzenia.

Wdrożenie i odpowiedzialne użycie

Wagi i kod są publikowane na licencji Apache-2.0, a model można ładować przez Transformers z kodem dostarczonym przez repozytorium. Włączenie trust_remote_code oznacza wykonanie zewnętrznego kodu, dlatego konkretna rewizja powinna zostać przejrzana i przypięta przed wdrożeniem. Deklarowane wyniki i opóźnienia zależą od sprzętu oraz procedury testowej; przed użyciem z fizycznym robotem potrzebne są własne testy bezpieczeństwa, ograniczenia obszaru pracy i mechanizm natychmiastowego zatrzymania.

Źródło: Hugging Face — OpenBMB/MiniCPM-RobotManip.