8-битная конверсия Hermes-2-Pro на базе Mistral-7B для диалогов, следования инструкциям и генерации структурированного текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Hermes-2-Pro-Mistral-7B-8bit — 8-битная версия модели Hermes-2-Pro-Mistral-7B, подготовленная mlx-community и преобразованная в формат MLX для запуска через mlx-lm. Модель основана на Mistral-7B-v0.1 и дообучена NousResearch; она предназначена для диалогов и следования инструкциям, включая сценарии вызова функций и выдачи JSON.
Модель имеет плотную архитектуру MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов. В карточке указана поддержка английского языка. Репозиторий лицензирован по Apache-2.0. README отсылает за подробностями к карточке исходной модели, поэтому специфические характеристики и ограничения Hermes-2-Pro здесь не раскрыты.
README не содержит подробных оценок качества или описания ограничений; для них требуется карточка исходной модели. Указанная поддержка английского языка не подтверждает качество на других языках.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from NousResearch/Hermes-2-Pro-Mistral-7B.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Hermes-2-Pro-Mistral-7B-8bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.