Bielik-1.5B-v3

Charakterystyka Bielik-1.5B-v3

Bielik-1.5B-v3 to bazowy model językowy SpeakLeash i ACK Cyfronet AGH, rozwijany przede wszystkim dla języka polskiego. Ma około 1,6 miliarda parametrów i został zainicjalizowany z Qwen2.5-1.5B, a następnie dalej uczony na dużym korpusie obejmującym polskie zbiory oraz dane Common Crawl. Niewielki rozmiar ułatwia lokalne eksperymenty, kwantyzację i dostrajanie na sprzęcie słabszym niż wymagany przez modele wielomiliardowe.

Co warto wiedzieć

• jest to model bazowy, a nie gotowy asystent instrukcyjny;
• projekt deklaruje około 292 miliardów tokenów dalszego treningu;
• trening wykorzystywał infrastrukturę ACK Cyfronet, w tym akceleratory GH200;
• wagi są udostępniane na licencji Apache 2.0.

Model bazowy najlepiej traktować jako fundament do dalszego dostrojenia, badań lub tworzenia wariantu domenowego. Bez etapu instruction tuning może uzupełniać tekst zamiast wykonywać polecenia w sposób oczekiwany od czatu. Jego atutem jest polska specjalizacja przy małym zapotrzebowaniu na zasoby, ale ograniczona skala oznacza słabsze rozumowanie i wiedzę niż w większych Bielikach. Wdrożenie wymaga własnego zestawu ewaluacyjnego, filtrów bezpieczeństwa i świadomego wyboru danych dostrajających.

Źródło: oficjalna karta Bielik-1.5B-v3.