Tencent: Hy3

Licencja HuggingFace ModelScope cnb.cool GitCode ?️ Oficjalna strona | ? GitHub – Wprowadzenie do modelu – Silniejsze możliwości agentowe – Bardziej niezawodne doświadczenia produktowe – Dodatek benchmarków – Aktualności – Linki do modelu – Szybki start – Wdrożenie – vLLM – SGLang – Dostrajanie – Trening RL – Kwantyzacja – Licencja – Kontakt

Hy3 to model Mixture-of-Experts (MoE) o 295B parametrach, z 21B aktywnymi parametrami i 3,8B parametrami warstwy MTP, opracowany przez zespół Tencent Hy. Po premierze Hy3 Preview pod koniec kwietnia zebraliśmy opinie z ponad 50 produktów i zwiększyliśmy skalę treningu po treningu z wyższej jakości danymi. Dziś przedstawiamy Hy3, który przewyższa modele o podobnym rozmiarze i rywalizuje z flagowymi modelami open-source o 2-5x większej liczbie parametrów. Wykazuje również znaczące zyski w użyteczności w różnych produktach i zadaniach produktywności.

Właściwość	Wartość
Architektura	Mixture-of-Experts (MoE)
Łączna liczba parametrów	295B
Aktywowane parametry	21B
Parametry warstwy MTP	3,8B
Liczba warstw (z wyłączeniem warstwy MTP)	80
Liczba warstw MTP	1
Głowy uwagi	64 (GQA, 8 głów KV, wymiar głowy 128)
Ukryty rozmiar	4096
Rozmiar pośredni	13312
Długość kontekstu	256K
Rozmiar słownika	120832
Liczba ekspertów	192 ekspertów, aktywowanych top-8
Obsługiwane precyzje	BF16

Opierając się na Hy3 Preview, dodatkowo poprawiliśmy jakość i różnorodność danych po treningu, jednocześnie zwiększając skalę treningu RL. Hy3 wykazuje solidne zyski w zadaniach rozumowania, agentowych i długiego kontekstu, konkurując z znacznie większymi modelami flagowymi. W scenariuszach produktywności, takich jak kodowanie, praca biurowa, modelowanie finansowe, projektowanie front-endu i tworzenie gier, Hy3 poczynił niezwykłe postępy i może teraz służyć jako niezawodna, opłacalna opcja modelu.

Nie uważamy, że wyniki publicznych benchmarków mówią całą prawdę. Dlatego przeprowadziliśmy ślepą ocenę z 270 ekspertami, używając zadań z ich pracy, a Hy3 uzyskał wynik 2,67/4, przewyższając GLM-5.1 z wynikiem 2,51/4. Przewaga była najbardziej znacząca w zadaniach związanych z rozwojem front-endu, danymi i przechowywaniem oraz CI/CD.