SAM 3

Charakterystyka SAM 3

SAM 3, czyli Segment Anything Model 3, to model Meta do segmentacji obiektów na obrazach i wideo sterowanej promptem. Potrafi odnaleźć oraz zaznaczyć wszystkie wystąpienia otwartego pojęcia opisanego tekstem, a także korzystać z podpowiedzi wizualnych: punktów, ramek, masek i przykładów. Łączy wykrywanie, segmentację i śledzenie, dlatego nie wymaga przygotowania osobnego klasyfikatora dla każdej kategorii.

Najważniejsze możliwości

• segmentacja obiektów wskazanych nazwą lub krótkim opisem;
• wykorzystanie dodatnich i ujemnych przykładów wizualnych;
• śledzenie wybranych obiektów między klatkami filmu;
• praca z kategoriami otwartymi, również rzadziej spotykanymi.

Meta przygotowała zbiór SA-Co obejmujący miliony pojęć do szkolenia i oceny segmentacji. Wynik modelu jest maską obiektu, a nie opisem sceny ani gotową decyzją biznesową. Skuteczność może spaść przy niejasnym pojęciu, małych obiektach, zasłonięciach lub obrazie innym niż dane treningowe. W zastosowaniach medycznych, przemysłowych i bezpieczeństwa maski wymagają walidacji domenowej. Karta modelu i repozytorium określają też warunki licencji oraz sposób uruchomienia lokalnego.

Źródło: oficjalne ogłoszenie Meta SAM 3 oraz karta modelu.