Bielik-7B-Instruct-v0.1-GGUF

To repo zawiera pliki modelu w formacie GGUF dla Bielik-7B-Instruct-v0.1 firmy SpeakLeash. ZASTRZEŻENIE: Należy pamiętać, że modele skwantyzowane wykazują obniżoną jakość odpowiedzi i mogą powodować halucynacje! Prosty notatnik Colab do testowania: https://colab.research.google.com/drive/1Al9glPVCuOXbtDsks8cMcuzkuu8YDzpg?usp=sharing * Opracowane przez: SpeakLeash

• Język: Polski
• Typ modelu: tylko dekoder przyczynowy
• Skwantyzowane z: Bielik-7B-Instruct-v0.1
• Dostosowane z: Bielik-7B-v0.1
• Licencja: CC BY NC 4.0 (użytek niekomercyjny)
• Referencja modelu: speakleash:e38140bea0d48f1218540800bbc67e89 GGUF to nowy format wprowadzony przez zespół llama.cpp w sierpniu 21st 2023. Oto niekompletna lista klientów i bibliotek, które są znane z obsługi GGUF:
• llama.cpp. Projekt źródłowy dla GGUF. Oferuje opcję CLI i serwera.
• text-generation-webui, najczęściej używany interfejs webowy, z wieloma funkcjami i potężnymi rozszerzeniami. Obsługuje przyspieszenie GPU.
• KoboldCpp, w pełni funkcjonalny interfejs webowy, z przyspieszeniem GPU na wszystkich platformach i architekturach GPU. Szczególnie dobry do opowiadania historii.
• GPT4All, darmowy i otwarty lokalny interfejs GUI, obsługujący Windows, Linux i macOS z pełnym przyspieszeniem GPU.
• LM Studio, łatwy w użyciu i potężny lokalny interfejs GUI dla Windows, macOS (Silicon) i Linux, z przyspieszeniem GPU
• LoLLMS Web UI, świetny interfejs webowy z wieloma interesującymi i unikalnymi funkcjami, w tym pełną biblioteką modeli do łatwego wyboru modelu.
• Faraday.dev, atrakcyjny i łatwy w użyciu interfejs czatu oparty na postaciach dla Windows i macOS (zarówno Silicon, jak i Intel), z przyspieszeniem GPU.
• llama-cpp-python, biblioteka Pythona z przyspieszeniem GPU, wsparciem LangChain i serwerem API zgodnym z OpenAI.
• candle, framework ML w Rust z naciskiem na wydajność, w tym wsparcie GPU, i łatwość użycia.
• ctransformers, biblioteka Pythona z przyspieszeniem GPU, wsparciem LangChain i serwerem AI zgodnym z OpenAI. Uwaga: ctransformers nie były aktualizowane od dłuższego czasu i nie obsługują wielu nowych modeli. Jeśli masz jakiekolwiek pytania lub sugestie, prosimy o skorzystanie z zakładki dyskusji. Jeśli chcesz skontaktować się z nami bezpośrednio, dołącz do naszego Discorda SpeakLeash.