Inkling

BF16 · NVFP4 · Tinker Cookbook · Dokumentacja · Dopuszczalne użycie Inkling to ogólnego przeznaczenia model multimodalny, który akceptuje dane wejściowe w postaci tekstu, obrazu i audio oraz generuje dane wyjściowe w postaci tekstu. Jest przeznaczony do użytku w języku angielskim i innych językach, a także w wielu językach programowania. Model został zaprojektowany do użytku przez programistów tworzących aplikacje oparte na AI, w tym systemy agentowe i narzędziowe, asystentów kodowania, chatboty i systemy generacji wspomaganej wyszukiwaniem, i nadaje się do ogólnego użytku konwersacyjnego, podążania za instrukcjami i innych zadań związanych z językiem naturalnym i multimodalnych. Jest wydawany z otwartymi wagami, aby wspierać badania, dostrajanie i integrację z produktami innych firm przez programistów downstream. Języki: Angielski, z ogólnymi możliwościami wielojęzycznymi w innych językach. Aby uzyskać dostęp do Inkling przez Tinker: Możesz zacząć, odwołując się do Tinker Cookbook tutaj i powiązanej dokumentacji tutaj. Inkling obsługuje lokalne wdrożenie przy użyciu następujących bibliotek open-source: SGLang (przepis, PR) vLLM (przepis, PR) TokenSpeed (przepis, PR) Unsloth (przepis, PR) * Huggingface (przepis, PR) Dostęp API jest również dostępny za pośrednictwem zewnętrznych dostawców inferencji. Dekoder-only transformer z 66 warstwami z rzadkim szkieletem feed-forward Mixture-of-Experts (MoE): każdy token jest kierowany do 6 z 256 ekspertów, plus 2 współdzielonych ekspertów aktywnych na każdym tokenie. Uwaga jest hybrydą warstw lokalnych i globalnych. Model jest natywnie multimodalny — obrazy i wideo są kodowane za pomocą hierarchicznego kodera kafelków, a audio za pomocą dyskretnego kodowania tokenów — przy czym wszystkie modalności są rzutowane do wspólnej ukrytej przestrzeni i przetwarzane wspólnie przez dekoder.