About
This repository provides a model compiled and optimized for Mobilint NPU hardware.
The model is packaged for deployment on Mobilint’s acceleration stack and is intended to be used within that environment.
Mobilint Llama-3.2-1B-Instruct-Batch16 — это версия модели Meta Llama 3.2 1B Instruct, скомпилированная и оптимизированная компанией Mobilint для работы на аппаратных ускорителях Mobilint NPU.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и развёртывания через стек ускорения Mobilint, в том числе в сценариях, где требуется выполнение инструкций на поддерживаемом оборудовании.
Модель относится к текстовым генеративным моделям и основана на quantized-варианте Meta Llama-3.2-1B-Instruct. В README указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Другие характеристики, включая точную архитектуру, размер контекста, формат квантования и модальности, не указаны.
Ключевое преимущество модели — оптимизация и упаковка для аппаратной платформы Mobilint NPU. Ограничения связаны с зависимостью от аппаратуры и программного стека Mobilint; применимость на других платформах из README не следует. Модель распространяется по лицензии Llama 3.2; в карточке также указана ссылка на лицензию Meta Llama 3.2.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This repository provides a model compiled and optimized for Mobilint NPU hardware.
The model is packaged for deployment on Mobilint’s acceleration stack and is intended to be used within that environment.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Модели нужен код из репозитория; запуск откроется после проверки совместимости.