Motif 3 (Beta)

⚠️ Podgląd / punkt kontrolny beta — nie ostateczna wersja. To repozytorium zawiera pośredni punkt kontrolny Motif-3. Ostateczny punkt kontrolny zostanie wydany wkrótce. Motif-3 to model językowy Mixture-of-Experts (MoE) dużej skali, zbudowany od podstaw przez

Motif Technologies, zgodnie z w pełni wewnętrznym, zastrzeżonym projektem — nie jest to reparametryzacja istniejących architektur open-source. – ? ~314B całkowitych parametrów / ~13B aktywnych na token (sparse MoE)

• ? 256K długości kontekstu (262,144 tokenów), natywnie długi kontekst
• ⚡ Rzadkie routowanie: 384 ekspertów z 8 aktywowanymi na token, plus 1 wspólny ekspert
• ? Wielojęzyczny, ogólnego przeznaczenia

Typ modelu	Model językowy Mixture-of-Experts causal
Całkowite parametry	~314B
Aktywne parametry	~13B / token
Rozmiar ukryty	4096
Warstwy	53
Routinowani eksperci	384 (top-8)
Wspólni eksperci	1
Długość kontekstu	262,144 (256K)
Słownik	220,160
Typ tensora	bfloat16

Motif-3 to w pełni wewnętrzny projekt, który wprowadza kilka niestandardowych komponentów:

• Grouped Differential Latent Attention (GDLA)
• Grouped PolyNorm activation, stosowana na ekspercie
• Modified mHC
• Multi-Token Prediction (MTP) head (1 warstwa), umożliwiająca samospekulacyjne dekodowanie Artificial Analysis Intelligence Index (AAII): 44 – Obraz Dockera: ghcr.io/motiftechnologies/vllm:v0.20.2-motif3.rc2
• Testowane tylko na GPU B200 i H200.
• Jeśli napotkasz jakiekolwiek problemy, otwórz zgłoszenie w HF.
• Model jest dostarczany z wbudowanym MTP (multi-token prediction) head (num_nextn_predict_layers=1), więc wspiera samospekulacyjne dekodowanie — dodaj --speculative-config, jak pokazano poniżej (num_speculative_tokens: 1 jest optymalne dla tego modelu).
• Przykład polecenia vLLM: