Это языковая модель Llama 3.2-1B-Instruct-bf16, представленная сообществом mlx-community и основанная на модели Llama 3.2, разработанной Meta.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и выполнения инструкций в сценариях, требующих компактной универсальной LLM, включая диалоговые приложения, ответы на вопросы, создание и преобразование текста.
Модель имеет размер 1 миллиард параметров, относится к семейству Llama и распространяется в формате BF16 для использования с MLX; в карточке также указана совместимость с библиотекой Transformers. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модальность — текстовая, назначение — text-generation. Размер контекстного окна и точные архитектурные характеристики в README не указаны.
Компактный размер делает модель более подходящей для локального запуска и устройств с ограниченными ресурсами, однако по качеству и способности обрабатывать сложные задачи она может уступать более крупным моделям. Модель распространяется по Llama 3.2 Community License компании Meta. Лицензия разрешает использование, копирование, модификацию и распространение на указанных условиях, включая соблюдение Acceptable Use Policy, сохранение уведомления об авторских правах и требования к атрибуции; для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрены дополнительные условия.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Llama-3.2-1B-Instruct-bf16 was converted to MLX format from meta-llama/Llama-3.2-1B-Instruct using mlx-lm version 0.17.1.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Llama-3.2-1B-Instruct-bf16")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.