Tencent: Hy3 (free)

Licencja HuggingFace ModelScope cnb.cool GitCode ?️ Oficjalna strona | ? GitHub – Wprowadzenie do modelu – Silniejsze możliwości agenta – Bardziej niezawodne doświadczenia produktowe – Dodatek z benchmarkami – Aktualności – Linki do modelu – Szybki start – Wdrożenie – vLLM – SGLang – Dostrajanie – RL po treningu – Kwantyzacja – Licencja – Kontakt Hy3 to model Mixture-of-Experts (MoE) o 295 miliardach parametrów, z 21 miliardami aktywnych parametrów i 3,8 miliarda parametrów warstwy MTP, opracowany przez zespół Tencent Hy. Po premierze Hy3 Preview pod koniec kwietnia zebraliśmy opinie z ponad 50 produktów i zwiększyliśmy skalę treningu po wstępnym szkoleniu, używając wyższej jakości danych. Dziś przedstawiamy Hy3, który przewyższa modele o podobnej wielkości i dorównuje flagowym modelom open-source z 2-5 razy większą liczbą parametrów. Wykazuje również znaczące zyski w użyteczności w różnych produktach i zadaniach produktywności.

Właściwość	Wartość
Architektura	Mixture-of-Experts (MoE)
Całkowita liczba parametrów	295B
Aktywowane parametry	21B
Parametry warstwy MTP	3.8B
Liczba warstw (z wyłączeniem warstwy MTP)	80
Liczba warstw MTP	1
Głowy uwagi	64 (GQA, 8 głów KV, wymiar głowy 128)
Ukryty rozmiar	4096
Rozmiar pośredni	13312
Długość kontekstu	256K
Rozmiar słownictwa	120832
Liczba ekspertów	192 ekspertów, aktywowanych top-8
Obsługiwane precyzje	BF16

Bazując na Hy3 Preview, dodatkowo poprawiliśmy jakość i różnorodność danych po treningu, jednocześnie zwiększając skalę treningu RL. Hy3 wykazuje solidne zyski w zadaniach wymagających rozumowania, agentowych i długiego kontekstu, konkurując z dużo większymi flagowymi modelami. W scenariuszach produktywności, takich jak kodowanie, praca biurowa, modelowanie finansowe, projektowanie frontendu i tworzenie gier, Hy3 poczynił znaczące postępy i może teraz służyć jako niezawodna, opłacalna opcja modelu. Nie uważamy, aby wyniki publicznych benchmarków opowiadały całą historię. Dlatego przeprowadziliśmy ślepą ocenę z udziałem 270 ekspertów, używając zadań z ich pracy, a Hy3 uzyskał wynik 2.67/4, przewyższając GLM-5.1 z wynikiem 2.51/4. Przewaga była najbardziej znacząca w rozwoju frontendu, danych i przechowywania oraz zadaniach CI/CD.