Дообученная методом DPO языковая модель Mixtral MoE для генерации текста и ответов с контекстом до 32 768 токенов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
yunconglong/MoE_13B_DPO — языковая модель семейства Mixtral с архитектурой MoE, дообученная методом Direct Preference Optimization (DPO) на наборе предпочтений Intel/orca_dpo_pairs. В README указана базовая модель yunconglong/Truthful_DPO_TomGrc_FusionNet_7Bx2_MoE_13B; метаданные сообщают о 7,1 млрд параметров и контексте до 32 768 токенов.
Модель предназначена для генерации текста и диалоговых ответов с настройкой на предпочтения. Она распространяется в формате safetensors. Указана лицензия other; конкретные условия лицензии в предоставленных данных не раскрыты.
README и метаданные не подтверждают конкретные языки или результаты оценки качества. Условия лицензии обозначены как other, без подробностей.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
DPO Trainer TRL supports the DPO Trainer for training language models from preference data, as described in the paper Direct Preference Optimization: Your Language Model is Secretly a Reward Model by Rafailov et al., 2023.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…