About
This repository provides a model compiled and optimized for Mobilint NPU hardware.
The model is packaged for deployment on Mobilint’s acceleration stack and is intended to be used within that environment.
Mobilint/Llama-3.2-1B-Instruct — инструкционная языковая модель для генерации текста, разработанная на основе Meta Llama 3.2 1B Instruct и подготовленная Mobilint.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель скомпилирована и оптимизирована для работы на NPU-оборудовании Mobilint и предназначена для развертывания в стек технологий ускорения Mobilint.
Модель относится к семейству текстовых генеративных моделей, имеет размер около 1 млрд параметров и доступна в квантизованном варианте. Заявленные языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Подходит для сценариев, связанных с генерацией текста и выполнением инструкций, однако конкретные поддерживаемые форматы взаимодействия, размер контекста, показатели качества и производительности в README не указаны.
Ключевое преимущество модели — адаптация для аппаратного ускорения на NPU Mobilint, что может быть полезно при развертывании в соответствующей инфраструктуре. Ограничение заключается в зависимости от оборудования и программного стека Mobilint; данные о результатах тестирования, безопасности, точности и ограничениях применения отсутствуют. Лицензия указана как llama3.2; подробные условия доступны по ссылке на лицензию Meta Llama 3.2.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This repository provides a model compiled and optimized for Mobilint NPU hardware.
The model is packaged for deployment on Mobilint’s acceleration stack and is intended to be used within that environment.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Модели нужен код из репозитория; запуск откроется после проверки совместимости.