Inkling-NVFP4

BF16 · NVFP4 · Tinker Cookbook · Dokumentacja · Dopuszczalne użycie Inkling to ogólny model multimodalny, który akceptuje wejścia tekstowe, obrazowe i audio oraz generuje wyjścia tekstowe. Jest przeznaczony do użytku w języku angielskim i innych językach, a także w wielu językach programowania. Model został zaprojektowany do użytku przez programistów budujących aplikacje zasilane AI, w tym systemy agentowe i narzędziowe, asystentów kodowania, chatboty i systemy generacji wspomaganej wyszukiwaniem, i nadaje się do ogólnego użytku konwersacyjnego, podążania za instrukcjami i innych zadań związanych z językiem naturalnym i multimodalnością. Jest wydany z otwartymi wagami, aby wspierać badania, dostrajanie i integrację z produktami stron trzecich przez deweloperów końcowych. Języki: Angielski, z ogólnymi wielojęzycznymi możliwościami w innych językach. Aby uzyskać dostęp do Inkling przez Tinker: Możesz zacząć, odnosząc się do Tinker Cookbook tutaj i powiązanej dokumentacji tutaj. Inkling obsługuje lokalne wdrożenie przy użyciu następujących bibliotek open-source: SGLang (przepis, PR) vLLM (przepis, PR) TokenSpeed (przepis, PR) Unsloth (przepis, PR) * Huggingface (przepis, PR) Dostęp API jest również dostępny przez zewnętrznych dostawców inferencji. 66-warstwowy transformator decoder-only z rzadkim Mixture-of-Experts (MoE) w szkielecie feed-forward: każdy token jest kierowany do 6 z 256 ekspertów, plus 2 wspólnych ekspertów aktywnych na każdym tokenie. Uwaga jest hybrydą warstw lokalnych i globalnych. Model jest natywnie multimodalny — obrazy i wideo są kodowane przez hierarchiczny enkoder fragmentów, a audio przez kodowanie dyskretnych tokenów — przy czym wszystkie modalności są rzutowane do wspólnej ukrytej przestrzeni i przetwarzane wspólnie przez dekoder.