Технология релизі2026 ж. 21 қарашаРедакция 105.kz
Inkling 2 Mini: кәсіпорынның жабық контурындағы LLM үшін шағын модель
Hugging Face Inkling 2 Mini-ді талдап шықты — бұл Thinking Machines Lab-тың шамамен 26 млрд параметрлі, жергілікті орналастыруға арналған мультимодальды моделі. Жабық контурдағы зауытқа бұл не береді: тапсырма сыныптары, пилот қадамдары және шектеулер.
Қысқаша. Inkling 2 Mini — контексті 1 млн токенге дейін жететін, 4 және 8 биттік кванттары бар жергілікті мультимодальды модель. Оны зауыттың жабық контурындағы корпоративтік LLM үшін қарастырған жөн: регламенттер мен жабдық паспорттары бойынша іздеу, скандар мен сызбаларды талдау. Шешім 8–12 апталық пилоттан кейін, лицензияны, сондай-ақ орыс және қазақ тілдеріндегі сапаны тексерген соң қабылданады.
Не болды
2026 жылдың 20 қарашасында Hugging Face Inkling 2 Mini релизінің талдауын жариялады — бұл Thinking Machines Lab-тың жергілікті орнатуға арналған шағын моделі. Архитектура «looped transformer» деп сипатталған: шамамен 26 млрд физикалық параметрі және токенге 3 млрд белсенді параметрі бар сарапшылар қоспасы. Декодерде 24 қабат бар, бірақ ортаңғы 12 қабат үш рет өтеді, сондықтан әр токенге 48 қабат визиті орындалады — есептеу көлемі бойынша модель 24 физикалық қабатпен 48 қабатты сияқты әрекет етеді. Әр визитте токен қабаттағы 128 сарапшының 8-іне бағытталады, жасырын өлшемдік — 2 304. 1 млн токендік контекст және мультимодальды кіріс: мәтін мен суреттер мәлімделген. Сол архитектураның ілмектің айнымалы өту санымен зерттеу нұсқасы бөлек шығарылды: 3 орнына 1–2 өтуде инференс айтарлықтай жылдам, бірақ генерация сапасы төмен болуы мүмкін — авторлар бұл нұсқаны терең бағаламағандарын атап өтеді.
Салмақтар аралас дәлдікте жеткізіледі: сарапшы матрицалары NVFP4 және MXFP8 форматында, жинаққа жеделдетуге арналған DSpark драфтері кіреді. Инференс қолдауы transformers, llama.cpp (4-бит IQ4_NL және 8-бит Q8_0 форматындағы GGUF), қайта конвертациясыз нативтік кванттау схемасы бар MLX және серверлік орналастырулар үшін «нөлінші күн» қолдауы бар SGLang-те мәлімделген. Artificial Analysis Intelligence Index v5-те модель өз сыныбындағы ең үздік деп аталған, ал Gemma 4 31B, Muse Glimmer, Qwen3.8-27B және Nemotron 3.5 Super VL-мен салыстырғанда ол 48 бенчмарктің 32-сінде жеңіп шығады — бұл кодинг, агенттік іздеу және құралдармен жұмыс, суреттерді тану, пайымдау, қауіпсіздік. Авторлардың өздері бұл ретте салыстырулардың бір бөлігін «vibe tests» деп атайды және қосымша валидация қажет екенін ашық жазады.
Қазақстан кәсіпорындары үшін бұл нені білдіреді
Сөз өнеркәсіптік алаңдағы «жабық контурдағы корпоративтік LLM» тапсырмалар сыныбы туралы болып отыр. Зауыт үшін бұл ең алдымен құжаттамамен жұмыс: ТОиР регламенттері, ППР, жабдық паспорттары мен формулярлары, ақаулау актілері, схемалар, наряд-допускілер, қосалқы бөлшектер тізімдері. 1 млн токендік контекст сұранысқа бөлек беттерді бөлшектеуден кейін емес, құжаттардың тұтас пакеттерін беруге мүмкіндік береді; іс жүзінде пайдалы көлем ұзын контексті өңдеу құнымен шектеледі (бағалау). Мультимодальдылық екінші тапсырма сыныбын береді — скандарды, шильдиктер фотосуреттерін, қағаз актілер мен сызбаларды талдау, яғни көптеген зауыттарда сурет түрінде жатқан және іздеу жүйесінде индекстелмейтін нәрселер.
Екінші мәселе — интеграция. Модель өздігінен SCADA-ға қосылмайды және АСУ ТП тегтерін оқымайды: дереккөзде тек құралдарды шақыруды қолдау туралы айтылады, яғни модель функция шақыруын құрады, ал оны сыртқы код орындайды. Демек, кәсіпорын тарапында ішкі сервистермен — анықтамалықтармен, ТОиР жүйесімен, құжаттар мұрағатымен — интеграция қабаты және нақты нені шақыруға рұқсат екенін айқындайтын ережелер қажет. Мұндай модель басқару контурына кірістірілмейді: ол кеңесші, реттеуші емес (бағалау).
Үшінші мәселе — орналастыру және реттеу. Модель жергілікті ретінде ұсынылады: 4-биттік және 8-биттік GGUF-кванттары, жұмыс станцияларында MLX, серверлік жабдықта SGLang. Ұлттық компаниялар мен жер қойнауын пайдаланушылар үшін бұл әдеттегі норма: деректер периметрден шықпайды, ақпараттық қауіпсіздік талаптары мен дербес деректерді локализациялау on-premise орналастыру арқылы қамтамасыз етіледі. Алайда дереккөзде орыс және қазақ тілдеріндегі сапа мүлдем бағаланбаған — мәлімделген бенчмарктердің барлығы ағылшын тілінде. Сондықтан қазақстандық құжат айналымына қолданылуы — релиз цифрларынан көшірілмейтін, өз корпусында тексерілетін гипотеза болып қала береді.
Қалай қолдану: 8–12 апталық пилот
- Деректер мен ақпараттық қауіпсіздік талаптарын аудит (1–2 апта). Корпус жинау: регламенттер, ППР, паспорттар, наряд-допускілер, ақаулар бойынша хат алмасу тарихы. Қандай құжаттарды модельге беруге болатынын, қайда дербес деректер, қайда коммерциялық құпия екенін тіркеу. NDA және ақпараттық қауіпсіздік қызметімен келісу — бірінші іске қосуға дейін.
- Өлшенетін нәтижесі бар бір тапсырма сыныбы (1 апта). Мысалы, нормативтік-техникалық құжаттама бойынша дереккөздің тармағына міндетті сілтеме жасай отырып іздеу немесе актілердің скандарынан өрістерді алу. «ЖИ енгізу» емес, ағымдағы орындалу уақыты бар нақты операция.
- Жабық контурда орналастыру және базалық сызық (2–3 апта). Модельді периметр ішіндегі пилоттық жабдықта көтеру, технологтар мен ТОиР мамандарының күшімен сұрақ-жауаптың эталондық жинағын жинау, модельсіз тапсырманы шешу уақытын өлшеу. Орыс және қазақ тілдеріндегі мінез-құлқын бөлек тексеру.
- Шектеулі пайдалану (3–4 апта). ТОиР, диспетчерлік қызмет немесе HSE мамандарынан 10–20 пайдаланушы. Метрикалар: құжатқа дұрыс сілтемесі бар жауаптардың үлесі, «құжаттарда дерек жоқ» бас тартуларының үлесі, іздеу уақыты, тірі сарапшыға жүгіну саны.
- Қабылдау және шешім (1 апта). Базалық сызықпен салыстыру, ақаулар тізімі, қорытынды: қысқарту, корпусты кеңейту немесе өнімге айналдыру. Білім базасын жаңарту регламенті бөлек бекітіледі — онсыз сапа құжаттардың бірінші ревизиясынан бастап нашарлайды.
Шешімдер сыныбы туралы толығырақ — Корпоративтік LLM, салалық контекст туралы — Өнеркәсіптік кәсіпорындар.
Шектеулер мен тәуекелдер
- Дереккөзде лицензия көрсетілмеген. Бұл өнеркәсіптік қолдануға дейінгі бірінші сұрақ: модельдің коммерциялық контурда жарамдылығы осыған байланысты.
- Жабдыққа қойылатын талаптар ішінара сипатталған. Жылдамдық өлшемдері бір NVIDIA B300 жеделдеткіші үшін 1 024 токендік промпт және 1, 4, 16 және 64 конкуренттілікпен 1 024 токен генерациясы кезінде келтірілген; 4- және 8-биттік кванттарға арналған жады көлемі мәтінде берілмеген.
- Бенчмарктер — мәлімдеме, сіздің тапсырмаңыздағы өлшем емес. «Сыныбындағы ең үздік» дегені AAv5 индексіне қатысты, салыстырулардың бір бөлігін авторлардың өздері «vibe tests» деп атайды және қосымша валидация сұрайды. Орыс және қазақ тілдері, салалық терминология (АСУ ТП, ТОиР, КТГ, МРП) бенчмарктерде көрсетілмеген.
- Галлюцинациялар және қадағалану мүмкіндігі. Модель генеративті; инженерлік қолдану үшін құжатқа сілтемесі бар жауап режимі және шешім қабылдау контурында адам міндетті.
- Құралдарды шақыру — шабуыл беткейі. Ішкі API-ге жүгіну ақ тізім бойынша және журналдаумен рұқсат етіледі.
- Доменге бейімдеп оқыту туралы деректер дереккөзде жоқ. Нақты терминологияға бейімдеу мүмкіндігі мен құны сипатталмаған.
Дереккөздер
- Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup · 2026-11-20T00:00:00.000Z
Inkling 2 Mini is much, much smaller than Inkling 2 Small, and is designed for local AI setups.
- Фото: Linda Spashett Storye_book — Bradford Industrial Museum 030.jpg (CC BY 3.0, Wikimedia Commons)
Материал жоғарыда көрсетілген дереккөздер негізінде ЖИ көмегімен дайындалды. Қате байқасаңыз, info@105.kz мекенжайына жазыңыз.