Bielik-7B-v0.1

Bielik-7B-v0.1 to generatywny model tekstowy z 7 miliardami parametrów, starannie rozwinięty z poprzednika, Mistral-7B-v0.1, poprzez przetworzenie ponad 70 miliardów tokenów. Wspomniany model stanowi dowód wyjątkowej współpracy między projektem open-science/open-source SpeakLeash a centrum High Performance Computing (HPC): ACK Cyfronet AGH. Opracowany i wytrenowany na polskich korpusach tekstowych, które zostały starannie wyselekcjonowane i przetworzone przez zespół SpeakLeash, przedsięwzięcie to wykorzystuje polską infrastrukturę obliczeniową dużej skali, a konkretnie środowisko PLGrid, a dokładniej centra HPC: ACK Cyfronet AGH. Stworzenie i trenowanie modelu Bielik-7B-v0.1 było możliwe dzięki wsparciu grantu obliczeniowego numer PLG/2024/016951, przeprowadzonego na superkomputerach Athena i Helios, co umożliwiło wykorzystanie najnowocześniejszych technologii i zasobów obliczeniowych niezbędnych do procesów uczenia maszynowego na dużą skalę. W rezultacie model wykazuje wyjątkową zdolność do rozumienia i przetwarzania języka polskiego, zapewniając dokładne odpowiedzi i wykonując różnorodne zadania językowe z wysoką precyzją. ⚠️ Jest to model podstawowy przeznaczony do dalszego dostrajania w większości przypadków użycia. Jeśli szukasz modelu gotowego do czatu lub wykonywania instrukcji od razu po wyjęciu z pudełka, użyj Bielik-7B-Instruct-v0.1.