4-битная конверсия Meta-Llama-3.1-405B-Instruct в формат MLX для локальной генерации текста и диалогов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это 4-битная версия Meta-Llama-3.1-405B-Instruct, преобразованная сообществом mlx-community из формата исходной модели в формат MLX с помощью mlx-lm 0.16.0. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 408 млрд параметров; она предназначена для генерации текста и диалогового использования на устройствах Apple Silicon, поддерживающих MLX.
Модель принимает текстовые запросы и выдаёт текст. Контекстное окно составляет до 131 072 токенов. В карточке указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Качество и удобство локального запуска зависят от доступных вычислительных ресурсов; 4-битное представление снижает требования к памяти по сравнению с полной точностью. Модель распространяется по лицензии Llama 3.1, условия которой следует соблюдать при использовании.
Модель очень крупная, поэтому для запуска требуется значительный объём памяти и подходящее оборудование; 4-битное представление может влиять на качество ответов. Условия лицензии Llama 3.1 накладывают ограничения на использование и распространение.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Meta-Llama-3.1-405B-4bit was converted to MLX format from meta-llama/Meta-Llama-3.1-405B-Instruct using mlx-lm version 0.16.0.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Meta-Llama-3.1-405B-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.