MiniCPM-RobotTrack

Charakterystyka

MiniCPM-RobotTrack jest kompaktowym modelem vision-language-action przeznaczonym do śledzenia obiektu wskazanego językiem naturalnym przez mobilnego robota. Według oficjalnej karty łączy bazę MiniCPM4-0.5B z enkoderami obrazu DINOv3 i SigLIP, a wynikiem jest sekwencja ośmiu przyszłych punktów drogi opisana współrzędnymi x, y oraz kątem yaw. Nie jest to ogólny chatbot ani klasyczny detektor zwracający jedynie prostokąt obiektu; model ma wspierać decyzję ruchową robota względem celu widocznego w obrazie.

Zastosowania

Najbardziej naturalne zastosowania obejmują prototypy śledzenia osób lub przedmiotów, badania nad robotyką mobilną oraz eksperymenty z poleceniami odnoszącymi się do cech wizualnych. Karta modelu opisuje działanie na robocie Unitree Go2 z szybkością ponad pięciu klatek na sekundę i opóźnieniem około 180 ms, ale są to wyniki konkretnej konfiguracji, a nie gwarancja dla innego sprzętu. Przed wdrożeniem trzeba osobno sprawdzić kamerę, kalibrację, częstotliwość sterowania i zgodność formatu punktów drogi.

Ograniczenia i bezpieczeństwo

Repozytorium wymaga zaufania do kodu zdalnego podczas ładowania, dlatego rewizję kodu należy przypiąć i przejrzeć przed uruchomieniem. Sterowanie fizycznym robotem wymaga warstwy bezpieczeństwa niezależnej od modelu: ograniczeń prędkości, zatrzymania awaryjnego, detekcji przeszkód i testów w odseparowanym środowisku. Polecenia niejednoznaczne, zasłonięcie celu, słabe oświetlenie albo zmiana perspektywy mogą pogorszyć śledzenie. Licencja Apache 2.0 opisuje warunki dystrybucji kodu i wag, lecz nie zastępuje oceny ryzyka konkretnego wdrożenia.

Źródła

• Oficjalna karta MiniCPM-RobotTrack w Hugging Face