MLX-Community/Meta-Llama-3.1-8B-Instruct-4bit — это 4-битная квантизованная версия инструкционно дообученной языковой модели Meta Llama 3.1, адаптированная сообществом mlx-community для запуска с использованием MLX.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание и преобразование текста, а также другие задачи обработки естественного языка.
Модель относится к семейству Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README размер контекстного окна не указан. Квантизация до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально уменьшает точность по сравнению с полноразмерной версией.
Модель разработана для практического применения в локальных и ресурсоограниченных средах, но README не содержит подробных результатов тестирования, сведений о производительности или известных ограничениях качества. Распространение и использование регулируются Llama 3.1 Community License от Meta; она предусматривает соблюдение Acceptable Use Policy, сохранение уведомления об авторских правах и дополнительные требования к атрибуции и перераспространению. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Meta-Llama-3.1-8B-Instruct-4bit was converted to MLX format from meta-llama/Meta-Llama-3.1-8B-Instruct using mlx-lm version 0.16.0.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Meta-Llama-3.1-8B-Instruct-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.