Производная модели sonthenguyen/OpenHermes-2.5-Mistral-7B-mt-bench-DPO. Чат-модель Mistral с 7,1 млрд параметров, дообученная методом DPO для генерации диалогового текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Карточка модели sonthenguyen/OpenHermes-2.5-Mistral-7B-mt-bench-DPO-corrupted на Hugging Face совпадает с карточкой sonthenguyen/OpenHermes-2.5-Mistral-7B-mt-bench-DPO, поэтому описание составлено по ней.
sonthenguyen/OpenHermes-2.5-Mistral-7B-mt-bench-DPO — чат-модель на архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. По README, модель обучалась методом DPO с LoRA-адаптером на задачах causal language modeling; параметры обучения включали beta=0,1 и максимальную длину последовательности 1536 токенов.
Модель предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, ведения беседы и подготовки текстовых черновиков. В метаданных указаны поддержка чата и формат safetensors. Лицензия — Apache-2.0. README не описывает состав обучающих данных, конкретные языки или сравнительные результаты качества.
README не приводит результаты оценки на MT-Bench, состав обучающих данных или сведения о языковом покрытии, поэтому качество и поддерживаемые языки по этим материалам определить нельзя.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Training hyperparameters LoRA: r=16 lora_alpha=16 lora_dropout=0.05 bias="none" task_type="CAUSAL_LM" target_modules=['k_proj', 'gate_proj', 'v_proj', 'up_proj', 'q_proj', 'o_proj', 'down_proj']
Training arguments: auto_find_batch_size=True gradient_checkpointing=True learning_rate=5e-7 lr_scheduler_type="cosine" max_steps=3922 optim="paged_adamw_32bit" warmup_steps=100
DPOTrainer: beta=0.1 max_prompt_length=1024 max_length=1536
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…