Z.ai: GLM 5

👋 Dołącz do naszej społeczności WeChat lub Discord. 📖 Sprawdź blog techniczny GLM-5. 📍 Korzystaj z usług API GLM-5 na platformie Z.ai API. 👉 Kliknij, aby przejść do GLM-5. Wprowadzamy GLM-5, ukierunkowany na złożone inżynierię systemową i długoterminowe zadania agentowe. Skalowanie jest nadal jednym z najważniejszych sposobów na poprawę wydajności inteligencji Sztucznej Ogólnej Inteligencji (AGI). W porównaniu do GLM-4.5, GLM-5 skaluje się z 355B parametrów (32B aktywnych) do 744B parametrów (40B aktywnych) i zwiększa dane przedtreningowe z 23T do 28,5T tokenów. GLM-5 integruje również DeepSeek Sparse Attention (DSA), znacznie zmniejszając koszty wdrożenia przy jednoczesnym zachowaniu pojemności długiego kontekstu. Uczenie przez wzmacnianie ma na celu wypełnienie luki między kompetencjami a doskonałością w modelach przedtreningowych. Jednak wdrożenie go na dużą skalę dla LLM jest wyzwaniem ze względu na nieefektywność treningu RL. W tym celu opracowaliśmy slime, nowatorską asynchroniczną infrastrukturę RL, która znacznie poprawia przepustowość i wydajność treningu, umożliwiając bardziej szczegółowe iteracje po treningu. Dzięki postępom zarówno w treningu wstępnym, jak i po treningu, GLM-5 zapewnia znaczną poprawę w porównaniu do GLM-4.7 w szerokim zakresie benchmarków akademickich i osiąga najlepszą w swojej klasie wydajność wśród wszystkich modeli open-source na świecie w zadaniach wnioskowania, kodowania i agentowych, zbliżając się do modeli granicznych. Tabela porównawcza (szczegóły w opisie w języku angielskim). Szczegóły oceny i linki do benchmarków (szczegóły w opisie w języku angielskim). Następujące frameworki open-source obsługują lokalne wdrożenie GLM-5: – vLLM (v0.19.0+) – SGLang (v0.5.10+) – KTransformers (v0.5.3+) – Transformers (v0.5.4+) – xLLM (v0.8.0+)