Bielik-11B-v2.3-Instruct-GGUF

To repo zawiera pliki modelu w formacie GGUF dla Bielik-11B-v.2.3-Instruct od SpeakLeash. ZASTRZEŻENIE: Należy pamiętać, że modele skwantyzowane wykazują obniżoną jakość odpowiedzi i możliwe halucynacje! Dostępne formaty kwantyzacji:

• q4km: Używa Q6K dla połowy tensorów attention.wv i feedforward.w2, w przeciwnym razie Q4_K
• q5km: Używa Q6K dla połowy tensorów attention.wv i feedforward.w2, w przeciwnym razie Q5_K
• q6k: Używa Q8K dla wszystkich tensorów
• q8_0: Prawie nieodróżnialny od float16. Wysokie zużycie zasobów i wolny. Nie zalecany dla większości użytkowników. Modfile Ollama

Plik GGUF można używać z Ollama. Aby to zrobić, należy zaimportować model, używając konfiguracji zdefiniowanej w Modfile. Na przykład dla modelu Bielik-11B-v2.3-Instruct.Q4KM.gguf (pełna ścieżka do lokalizacji modelu) Modfile wygląda następująco: * Opracowane przez: SpeakLeash & ACK Cyfronet AGH

• Język: Polski
• Typ modelu: tylko dekoder przyczynowy
• Kwantyzacja z: Bielik-11B-v2.3-Instruct
• Dostosowane z: Bielik-11B-v2
• Licencja: Apache 2.0 oraz Warunki użytkowania GGUF to nowy format wprowadzony przez zespół llama.cpp w sierpniu 21st 2023. Oto niekompletna lista klientów i bibliotek, które są znane z obsługi GGUF:
• llama.cpp. Projekt źródłowy dla GGUF. Oferuje opcję CLI i serwera.
• text-generation-webui, najczęściej używany interfejs webowy, z wieloma funkcjami i potężnymi rozszerzeniami. Obsługuje akcelerację GPU.
• KoboldCpp, w pełni funkcjonalny interfejs webowy, z akceleracją GPU na wszystkich platformach i architekturach GPU. Szczególnie dobry do opowiadania historii.
• GPT4All, darmowy i otwarty lokalny GUI, wspierający Windows, Linux i macOS z pełną akceleracją GPU.
• LM Studio, łatwe w użyciu i potężne lokalne GUI dla Windows, macOS (Silicon) i Linux, z akceleracją GPU
• LoLLMS Web UI, świetny interfejs webowy z wieloma interesującymi i unikalnymi funkcjami, w tym pełną biblioteką modeli do łatwego wyboru modelu.
• Faraday.dev, atrakcyjny i łatwy w użyciu interfejs czatu oparty na postaciach dla Windows i macOS (zarówno Silicon, jak i Intel), z akceleracją GPU.
• llama-cpp-python, biblioteka Pythona z akceleracją GPU, wsparciem LangChain i serwerem API zgodnym z OpenAI.
• candle, framework ML w Rust z naciskiem na wydajność, w tym wsparcie GPU i łatwość użycia.
• ctransformers, biblioteka Pythona z akceleracją GPU, wsparciem LangChain i serwerem AI zgodnym z OpenAI. Uwaga, ctransformers nie były aktualizowane od dłuższego czasu i nie obsługują wielu nowych modeli. Odpowiedzialny za kwantyzację modelu
• Remigiusz KinasSpeakLeash – kierownictwo zespołu, konceptualizacja, przygotowanie danych kalibracyjnych, tworzenie procesów i dostarczanie modeli skwantyzowanych.