Дообученная методом DPO модель Mixtral на 7,1 млрд параметров для генерации текста с контекстом до 32 768 токенов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
yunconglong/7Bx4_DPO_2e — языковая модель семейства Mixtral с архитектурой Mixture of Experts и классом MixtralForCausalLM. Модель дообучена методом Direct Preference Optimization (DPO) на наборе предпочтений jondurbin/truthy-dpo-v0.1; конфигурация указывает на активацию двух экспертов на токен. Она предназначена для генерации текста, включая ответы в диалогах и следование предпочтениям, представленным при обучении.
Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — MIT. Данные не уточняют языки обучения и целевую предметную область, поэтому характеристики ответов на конкретных языках или в специализированных областях оценить нельзя.
В README не приведены оценки качества и подробности поведения модели; языковая поддержка не указана. Результаты зависят от промптов и могут содержать ошибки или неподтверждённые утверждения.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
DPO Trainer TRL supports the DPO Trainer for training language models from preference data, as described in the paper Direct Preference Optimization: Your Language Model is Secretly a Reward Model by Rafailov et al., 2023.
"num_experts_per_tok": 2
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…