SenseNova-Vision-7B-MoT

? Przegląd SenseNova-Vision to ujednolicony model multimodalny do widzenia komputerowego. Przekształca heterogeniczne zadania percepcji wzrokowej w generowanie tekstu, generowanie obrazu lub mieszane generowanie tekstu i obrazu, zamiast polegać na wyspecjalizowanych głowicach, dekoderach lub funkcjach strat dla każdego zadania. Model obsługuje strukturalne rozumienie wizualne, gęste przewidywanie geometryczne, segmentację i wielowidokową geometrię wizualną w ramach wspólnego interfejsu opartego na instrukcjach. ? Opis modelu SenseNova-Vision na nowo definiuje widzenie komputerowe jako ujednolicone generowanie multimodalne. Tradycyjne systemy widzenia komputerowego zwykle dołączają wyspecjalizowane głowice predykcyjne do detekcji, segmentacji, głębi, normalnych powierzchni lub geometrii 3D. SenseNova-Vision zamiast tego wyraża te heterogeniczne zadania poprzez natywne przestrzenie wejścia-wyjścia ujednoliconego modelu multimodalnego. Instrukcje w języku naturalnym i opcjonalne podpowiedzi wizualne określają docelowe zadanie, regiony, widoki, schemat wyjścia i konwencję dekodowania. Model następnie generuje różne formaty docelowe w zależności od zadania:

Typ docelowy	Reprezentatywne zadania	Forma wyjścia
Tekst strukturalny	Detekcja, lokalizacja referencyjna, OCR, zakotwiczenie GUI, punkty kluczowe, parametry kamery	Rekordy tekstowe z znormalizowanymi współrzędnymi lub polami strukturalnymi
Gęsty obraz	Głębia, normalne powierzchni, mapy punktów, maski binarne, maski kodowane kolorami	Mapy docelowe przypominające obrazy
Mieszany tekst-obraz	Segmentacja wielu instancji, segmentacja konwersacyjna z zakotwiczeniem, percepcja kompozycyjna	Etykiety tekstowe plus wygenerowane maski lub mapy wizualne

To sformułowanie pozwala pojedynczemu modelowi pokryć strukturalne rozumienie wizualne, gęste przewidywanie geometryczne, segmentację i wielowidokową geometrię wizualną, zachowując wyjścia dekodowalne dla standardowych benchmarków.

• Ujednolicona formulacja zadań wizyjnych: Heterogeniczne zadania widzenia komputerowego są rzutowane na natywne przestrzenie generowania tekstu, obrazu i mieszane ujednoliconego modelu multimodalnego.
• Brak wyspecjalizowanych głowic: Model nie polega na oddzielnych głowicach do detekcji, segmentacji, głębi, normalnych czy geometrii.
• Dekodowalne wyjścia: Wygenerowany tekst i obrazy mogą być konwertowane z powrotem na kompatybilne z benchmarkami ramki, punkty, ciągi OCR, maski, mapy głębi, mapy normalnych, mapy punktów i rekordy kamery.
• Szeroki zakres zadań: Ten sam model obsługuje strukturalne rozumienie wizualne, segmentację, gęstą geometrię i wielowidokową geometrię wizualną.
• Warianty zadań definiowane instrukcjami: Instrukcje w języku naturalnym umożliwiają elastyczne definiowanie zadań wykraczających poza ustalone schematy benchmarków.

Proszę użyć oficjalnego kodu wnioskowania z repozytorium GitHub SenseNova-Vision: Utwórz środowisko z katalogu głównego repozytorium: