Phoenix_DPO_60B — MoE-языковая модель, дообученная методом DPO для генерации текста с настройкой поведения по предпочтениям.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Phoenix_DPO_60B — языковая модель с архитектурой MixtralForCausalLM и механизмом смеси экспертов (MoE), опубликованная cloudyu. Это модель генерации текста, дообученная методом Direct Preference Optimization (DPO) на данных предпочтений; карточка указывает 60B параметров, тогда как метаданные Hugging Face сообщают 33,9 млрд параметров. Контекст модели составляет 4096 токенов, веса представлены в формате safetensors.
Модель предназначена для генерации текста и диалоговых сценариев, где полезна настройка поведения по предпочтениям. README также указывает на отдельную сборку в формате GGUF. Лицензия обозначена как other, поэтому условия использования следует уточнять по карточке репозитория. Данных о языковой специализации и конкретных ограничениях качества нет.
README расходится с метаданными по числу параметров: в нём указано 60B, а метаданные сообщают 33,9 млрд. Лицензия обозначена как other; конкретные условия использования нужно проверять в репозитории.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
this is a DPO fine-tuned MoE model with 60B parameter.
DPO Trainer
TRL supports the DPO Trainer for training language models from preference data, as described in the paper Direct Preference Optimization: Your Language Model is Secretly a Reward Model by Rafailov et al., 2023.
GGUF format is ready at cloudyu/Phoenix_DPO_60B_gguf
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…