Диалоговая модель Mixtral MoE на 33,9 млрд параметров, дообученная методом DPO для генерации текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
TomGrc_FusionNet_34Bx2_MoE_v0.1_full_linear_DPO — диалоговая языковая модель с архитектурой Mixtral и смесью экспертов (MoE), дообученная методом Direct Preference Optimization (DPO) на всех линейных параметрах базовой FusionNet. Автор карточки сообщает, что обучение на H100 длилось один час; приведённые в карточке метрики не тестировались.
Модель предназначена для генерации текста и диалоговых сценариев. Репозиторий содержит веса в формате Safetensors; заявленное контекстное окно — 200 000 токенов, размер модели — 33,9 млрд параметров. Лицензия — Apache 2.0.
Автор сообщает, что метрики модели не тестировались; длительность обучения составляла один час. Языковая поддержка и качество на конкретных задачах в карточке не описаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
this is another DPO all-linear-parameter-fine-tuned MoE model for TomGrc/FusionNet_34Bx2_MoE_v0.1
it's trained on a H100 for one hour
DPO Trainer
TRL supports the DPO Trainer for training language models from preference data, as described in the paper Direct Preference Optimization: Your Language Model is Secretly a Reward Model by Rafailov et al., 2023.
Metrics not test!
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…