mlx-community/Llama-3.2-1B-Instruct-8bit — языковая модель для генерации текста, представленная сообществом mlx-community на базе Llama 3.2 от Meta.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Версия предназначена для диалоговых и других задач, требующих следования инструкциям, включая локальный инференс и прикладную генерацию текста. Модель распространяется в 8-битном представлении и ориентирована на использование с экосистемой MLX; в карточке также указана совместимость с библиотекой Transformers и задача text-generation.
Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Размер модели — 1B параметров согласно идентификатору модели. Информация о длине контекста, точной архитектуре, мультимодальности и результатах бенчмарков в предоставленном README отсутствует. К преимуществам относятся компактный размер и 8-битное представление, потенциально упрощающие локальное развертывание, однако количественные показатели качества и ограничения по применению не приведены. Модель распространяется по Llama 3.2 Community License от Meta: при распространении необходимо сохранять текст лицензии и уведомление об авторстве, указывать «Built with Llama», соблюдать Acceptable Use Policy и применимые законы; для продуктов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Llama-3.2-1B-Instruct-8bit was converted to MLX format from meta-llama/Llama-3.2-1B-Instruct using mlx-lm version 0.17.1.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Llama-3.2-1B-Instruct-8bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.