MLX-версия дообученной Mixtral для генерации текста, диалогов и выполнения инструкций.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
NousHermes-Mixtral-8x7B-Reddit-mlx — языковая модель, опубликованная mlx-community и подготовленная для запуска с MLX. Это конверсия модели mlx-community/Nous-Hermes-2-Mixtral-8x7B-DPO-4bit; в метаданных указана базовая модель mistralai/Mixtral-8x7B-v0.1. Модель предназначена для генерации текста, диалогов и выполнения инструкций.
В основе лежит архитектура Mixtral с разреженной смесью экспертов (MoE); класс модели — MixtralForCausalLM. Метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Модель поддерживает английский язык, форматы файлов включают safetensors, а лицензия — Apache-2.0.
README сообщает о конверсии из 4-битной MLX-модели и указывает на исходную карточку Nous-Hermes-2-Mixtral-8x7B-DPO-4bit за подробностями. Поэтому особенности обучающих данных и точные сильные стороны этой версии по имеющейся карточке оценить нельзя.
Карточка этой версии не раскрывает обучающие данные и результаты оценки качества; за подробностями README отсылает к карточке исходной модели. Для использования требуется среда MLX; подтверждена поддержка английского языка.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from mlx-community/Nous-Hermes-2-Mixtral-8x7B-DPO-4bit.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/NousHermes-Mixtral-8x7B-Reddit-mlx")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.