Qwen: Qwen3 32B

Qwen3 to najnowsza generacja dużych modeli językowych z serii Qwen, oferująca kompleksowy zestaw modeli gęstych (dense) i mieszanki ekspertów (MoE). Zbudowane na podstawie obszernego trenowania, Qwen3 zapewnia przełomowe postępy w zakresie rozumowania, śledzenia instrukcji, zdolności agentowych i wsparcia wielojęzycznego, z następującymi kluczowymi cechami:

• Unikalne wsparcie płynnego przełączania między trybem myślenia (dla złożonego logicznego rozumowania, matematyki i kodowania) a trybem niemyślenia (dla efektywnego, ogólnego dialogu) w ramach jednego modelu, zapewniając optymalną wydajność w różnych scenariuszach.
• Znaczące wzmocnienie zdolności rozumowania, przewyższające poprzednie modele QwQ (w trybie myślenia) i Qwen2.5 instruct (w trybie niemyślenia) w zakresie matematyki, generowania kodu i logicznego rozumowania opartego na zdrowym rozsądku.
• Doskonale dopasowanie do ludzkich preferencji, wyróżniające się w kreatywnym pisaniu, odgrywaniu ról, dialogach wieloobrotowych i śledzeniu instrukcji, aby zapewnić bardziej naturalne, angażujące i immersyjne doświadczenie konwersacyjne.
• Ekspertyza w zdolnościach agentowych, umożliwiająca precyzyjną integrację z zewnętrznymi narzędziami zarówno w trybie myślenia, jak i niemyślenia oraz osiągająca wiodącą wydajność wśród modeli open source w złożonych zadaniach agentowych.
• Wsparcie dla ponad 100 języków i dialektów z silnymi możliwościami wielojęzycznego śledzenia instrukcji i tłumaczenia. Qwen3-32B posiada następujące cechy:
• Typ: Causal Language Models
• Etap trenowania: Pre-trenowanie i Post-trenowanie
• Liczba parametrów: 32,8B
• Liczba parametrów (bez osadzeń): 31,2B
• Liczba warstw: 64
• Liczba głowic uwagi (GQA): 64 dla Q i 8 dla KV
• Długość kontekstu: 32 768 natywnie i 131 072 tokenów z YaRN. Aby uzyskać więcej szczegółów, w tym ocenę benchmarków, wymagania sprzętowe i wydajność wnioskowania, zapoznaj się z naszym blogiem, GitHub i dokumentacją. Kod Qwen3 został włączony do najnowszej wersji Hugging Face transformers i zalecamy korzystanie z najnowszej wersji transformers. Poniżej znajduje się fragment kodu ilustrujący, jak używać modelu do generowania treści na podstawie podanych danych wejściowych. Do wdrożenia można użyć sglang>=0.4.6.post1 lub vllm>=0.8.5 lub utworzyć kompatybilny punkt końcowy API OpenAI:
• SGLang: Do użytku lokalnego aplikacje takie jak Ollama, LMStudio, MLX-LM, llama.cpp i KTransformers również obsługują Qwen3.