Meta: Llama 3.2 3B Instruct (free)

Charakterystyka Llama 3.2 3B Instruct

Llama 3.2 3B Instruct to kompaktowy, tekstowy model Meta dostrojony do rozmowy i wykonywania instrukcji. Liczy około trzech miliardów parametrów, dzięki czemu jest znacznie łatwiejszy do uruchomienia lokalnie niż modele klasy 70B. Karta producenta wskazuje okno kontekstowe do 128 tysięcy tokenów i obsługę ośmiu języków. Wariant katalogowy „free” oznacza bezpłatną ofertę konkretnego operatora API, która może mieć limity lub ulec zmianie.

Gdzie ma sens

• lokalne prototypy asystentów i aplikacje działające na urządzeniu;
• streszczanie, klasyfikacja, ekstrakcja oraz proste generowanie tekstu;
• eksperymenty z dostrajaniem i kwantyzacją przy ograniczonym sprzęcie;
• zadania wymagające niskiego kosztu, krótkiego opóźnienia i prywatności danych.

Mniejszy rozmiar jest zaletą operacyjną, ale ogranicza głębokość rozumowania, wiedzę i niezawodność w złożonym kodzie. Polski nie znajduje się na oficjalnej liście ośmiu wspieranych języków, więc jakość trzeba mierzyć na rzeczywistych polskich promptach. Samodzielne wdrożenie wymaga dobrania formatu wag, pamięci, mechanizmu bezpieczeństwa i szablonu rozmowy. Użycie podlega licencji Llama 3.2 Community License oraz polityce akceptowalnego wykorzystania Meta.

Źródło: oficjalna karta Llama 3.2 3B Instruct.