Экспериментальная чат-модель на базе Mistral для генерации диалогового текста, чьи математические способности ухудшились после неудачного дообучения.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
BreznChatML — экспериментальная разговорная модель johannhartmann на архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате.
Автор описывает эксперимент с датасетом DPO по математике, дополненным немецким переводом. По его оценке, эксперимент снизил способность модели решать математические задачи; в приведённых результатах оценки составляют 2,65 по математике, 4,6 по рассуждениям и программированию, 8,425 по письму. Модель распространяется в формате safetensors по лицензии Apache-2.0.
Автор сообщает, что экспериментальное дообучение на математическом DPO-датасете с немецким переводом снизило способность модели решать математические задачи. В приведённых оценках математика получила 2,65 из 10; методика и шкала оценки в карточке не уточнены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This was just an experiment. One that went bad. I actually managed to decrease the ability to do math by using a math dpo dataset with a german translation.
{
"first_turn": 6.48125,
"second_turn": 6.19375,
"categories": {
"writing": 8.425,
"roleplay": 7.4,
"reasoning": 4.6,
"math": 2.65,
"coding": 4.6,
"extraction": 7,
"stem": 8.0,
"humanities": 8.025
},
"average": 6.3375
}
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…