mlx-community/Meta-Llama-3.1-70B-Instruct-4bit — 4-битная квантованная версия инструкционной большой языковой модели Llama 3.1, разработанной Meta и адаптированной сообществом mlx-community для экосистемы MLX.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые сценарии, ответы на вопросы, подготовку и преобразование текстов и другие задачи обработки естественного языка.
Известно, что модель содержит 70 миллиардов параметров и работает в формате 4-bit quantization, что снижает требования к памяти по сравнению с полноразмерной версией и делает локальный запуск более доступным при совместимом оборудовании и программном обеспечении. Заявлены поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. В карточке указаны библиотеки Transformers и MLX, однако архитектура и размер контекстного окна не уточнены.
Модель подходит для локального инференса и приложений, где важны качество инструкционного следования и многоязычная генерация. К ограничениям относятся высокие вычислительные требования, обусловленные размером 70B, возможные потери качества из-за 4-битного квантования и отсутствие в предоставленных данных сведений о мультимодальности, точных характеристиках производительности и контекстном окне. Использование регулируется Llama 3.1 Community License от Meta: при распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая указание «Built with Llama», сохранение уведомления об авторских правах и Acceptable Use Policy; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Meta-Llama-3.1-70B-Instruct-4bit was converted to MLX format from meta-llama/Meta-Llama-3.1-70B-Instruct using mlx-lm version 0.16.0.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Meta-Llama-3.1-70B-Instruct-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.