mlx-community/Meta-Llama-3-8B-Instruct-4bit — 4-битная квантованная версия инструкционной языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная сообществом mlx-community.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Базовую модель разработала Meta. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и другие сценарии обработки текста. Указанная поддерживаемая языковая версия — английский язык; модальность — текстовая. Размер контекста и дополнительные архитектурные характеристики в README не указаны.
Ключевая особенность этой версии — 4-битное квантование, ориентированное на более эффективное локальное выполнение и снижение требований к памяти по сравнению с полноразмерными весами, однако README не содержит результатов оценки качества или точных эксплуатационных требований. Модель предназначена для text-generation и может использоваться в приложениях, которым требуется компактная инструкционная LLM.
Модель распространяется по Meta Llama 3 Community License. Лицензия предоставляет ограниченные права на использование, копирование, распространение и создание производных работ при соблюдении условий Meta, включая сохранение лицензионного соглашения и уведомления об авторстве, отображение фразы «Built with Meta Llama 3» при распространении материалов или продуктов, соблюдение Acceptable Use Policy и специальные коммерческие условия для организаций с более чем 700 млн ежемесячных активных пользователей.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from meta-llama/Meta-Llama-3-8B-Instruct using mlx-lm version 0.9.0.
Model added by Prince Canuma.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Meta-Llama-3-8B-Instruct-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.