Tencent: Hy3 preview

Licencja HuggingFace ModelScope cnb.cool GitCode ?️ Oficjalna strona | ? GitHub – Wprowadzenie do modelu – Najważniejsze cechy – Wyniki benchmarków – STEM i rozumowanie – Uczenie kontekstu i podążanie za instrukcjami – Kod i agent – Aktualności – Linki do modelu – Szybki start – Wdrożenie – vLLM – SGLang – Trening – Kwantyzacja – Licencja – Kontakt

Hy3 preview to model Mixture-of-Experts (MoE) o 295B parametrach, z 21B aktywnymi parametrami i 3,8B parametrami warstwy MTP, opracowany przez zespół Tencent Hy. Hy3 preview to pierwszy model trenowany na naszej odbudowanej infrastrukturze i najsilniejszy, jaki do tej pory wydaliśmy. Znacząco poprawia się w złożonym rozumowaniu, podążaniu za instrukcjami, uczeniu kontekstu, kodowaniu i zadaniach agentowych.

Właściwość	Wartość
Architektura	Mixture-of-Experts (MoE)
Łączna liczba parametrów	295B
Aktywowane parametry	21B
Parametry warstwy MTP	3,8B
Liczba warstw (z wyłączeniem warstwy MTP)	80
Liczba warstw MTP	1
Głowy uwagi	64 (GQA, 8 głów KV, wymiar głowy 128)
Ukryty rozmiar	4096
Rozmiar pośredni	13312
Długość kontekstu	256K
Rozmiar słownika	120832
Liczba ekspertów	192 ekspertów, aktywowanych top-8
Obsługiwane precyzje	BF16

• STEM i rozumowanie — Złożone rozumowanie leży u podstaw wszystkiego innego. Hy3 preview dobrze radzi sobie z wymagającymi benchmarkami STEM, takimi jak FrontierScience-Olympiad i IMOAnswerBench, i osiągnął doskonałe wyniki na egzaminie kwalifikacyjnym z matematyki na poziomie doktoranckim w Tsinghua Qiuzhen College (wiosna '26) oraz na Chińskiej Olimpiadzie Biologicznej dla Szkół Średnich (CHSBO 2025), demonstrując uogólnialną zdolność rozumowania.
• Uczenie kontekstu i podążanie za instrukcjami — Zadania w świecie rzeczywistym wymagają umiejętności analizowania nieuporządkowanych, długich kontekstów i podążania za złożonymi regułami. Zbudowaliśmy CL-bench i CL-bench-Life z naszych własnych scenariuszy biznesowych, aby innowacyjnie mierzyć zdolność uczenia kontekstu. Hy3 preview wykazuje solidne zyski zarówno w uczeniu kontekstu, jak i w podążaniu za instrukcjami.
• Kod i agent — Kodowanie i agenci odnotowały największe zyski. Dzięki odbudowanej infrastrukturze RL i większym zadaniom treningowym, osiągnęliśmy konkurencyjne wyniki w głównych benchmarkach agentów kodowania (SWE-bench Verified, Terminal-Bench 2.0) i benchmarkach agentów wyszukiwania (BrowseComp, WideSearch).