4-битная MLX-конверсия Meta Llama 3.1 8B Instruct для диалоговой генерации текста и вызова инструментов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
tbhrc/meta_llama_3_1_8b_instruct_4bit — конверсия Meta Llama 3.1 8B Instruct в формат MLX с 4-битным представлением весов. Исходную модель разработала Meta; конверсию выполнил mlx-community, а репозиторий размещён пользователем tbhrc. Модель представляет собой плотную авторегрессионную LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов.
Модель предназначена для диалоговой генерации текста и поддерживает интерфейс вызова инструментов. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. README указывает на конверсию MLX из meta-llama/Meta-Llama-3.1-8B-Instruct; лицензия — llama3.1. Репозиторий описывает конвертированную MLX-версию с 4-битными весами, тогда как в метаданных формат файлов указан как safetensors.
Это конвертированная 4-битная версия для MLX; точность и совместимость зависят от среды выполнения. В метаданных формат файлов обозначен как safetensors, хотя README описывает конверсию в MLX.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Meta-Llama-3.1-8B-Instruct-4bit was converted to MLX format from meta-llama/Meta-Llama-3.1-8B-Instruct using mlx-lm version 0.16.0.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Meta-Llama-3.1-8B-Instruct-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.