Inkling-Small

BF16 | NVFP4 | Playground | Tinker Cookbook | Akceptowalne użycie Inkling-Small to model multimodalny ogólnego przeznaczenia, który akceptuje tekst, obrazy i dźwięk jako wejścia oraz generuje wyjścia tekstowe. Jest przeznaczony do użycia w języku angielskim i innych językach, a także w wielu językach programowania. Model jest zaprojektowany do użycia przez programistów budujących aplikacje zasilane AI, w tym systemy agentowe i użycia narzędzi, asystentów kodowania, chatboty oraz systemy generacji wzbogaconej o wyszukiwanie, i nadaje się do ogólnego użytku konwersacyjnego, wykonywania instrukcji oraz innych zadań związanych z językiem naturalnym i multimodalnych. Został wydany z otwartymi wagami, aby wspierać badania, dostrajanie i integrację z produktami stron trzecich przez programistów downstream. Języki: Angielski, z ogólnymi możliwościami wielojęzycznymi w innych językach. Wypróbuj Inkling-Small na Tinker Playground lub uzyskaj dostęp przez API korzystając z Tinker Cookbook. Inkling-Small wspiera lokalne wdrożenie przy użyciu następujących bibliotek open-source: * SGLang (przepis)

• vLLM (przepis)
• TokenSpeed (przepis)
• Unsloth (przepis)
• Huggingface (przepis) Dostęp do API jest również dostępny przez dostawców inferencji stron trzecich. 42-warstwowy dekoderowy transformer tylko z dekodowaniem z rzadkim Mixture-of-Experts (MoE) jako podstawą feed-forward: każdy token jest kierowany do 6 z 256 ekspertów, plus 2 wspólni eksperci aktywni na każdym tokenie. Uwaga jest hybrydą lokalnych i globalnych warstw. Model jest natywnie multimodalny — obrazy są kodowane za pomocą hierarchicznego kodera łatek, a dźwięk za pomocą dyskretnego kodowania tokenów — z wszystkimi modalnościami projektowanymi w wspólnej przestrzeni ukrytej i przetwarzanymi wspólnie przez dekoder.