Разговорная модель на базе Mistral с 7,1 млрд параметров для генерации текста и диалогов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
sonthenguyen/OpenHermes-2.5-Mistral-7B-mt-bench-DPO-recovered — разговорная языковая модель на архитектуре Mistral, представленная в формате safetensors. В метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и возможность чата; модель предназначена для генерации текста в диалогах и других текстовых сценариях.
В README описано дообучение методом DPO с LoRA: ранг адаптера 16, коэффициент LoRA 16 и dropout 0,05. Базовая модель в предоставленных данных не названа. Модель выпущена под лицензией Apache-2.0. Языки обучения и качество на конкретных задачах не описаны.
В README не указаны поддерживаемые языки и результаты оценки качества. Базовая модель не названа в доступных данных.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Training hyperparameters LoRA: r=16 lora_alpha=16 lora_dropout=0.05 bias="none" task_type="CAUSAL_LM" target_modules=['k_proj', 'gate_proj', 'v_proj', 'up_proj', 'q_proj', 'o_proj', 'down_proj']
Training arguments: auto_find_batch_size=True gradient_checkpointing=True learning_rate=5e-7 lr_scheduler_type="cosine" max_steps=3922 optim="paged_adamw_32bit" warmup_steps=100
DPOTrainer: beta=0.1 max_prompt_length=1024 max_length=1536
Arxiv link: https://arxiv.org/abs/2403.02745
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…