Экспериментальная чат-модель Mixtral с перенастроенными параметрами маршрутизации экспертов для генерации текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
chargoddard/mixtralmerge-8x7B-rebalanced-test — экспериментальная чат-модель, созданная слиянием нескольких моделей Mixtral и последующим обучением только параметров маршрутизации экспертов. Автор описывает её как попытку сбалансировать маршрутизацию; качество и влияние на поведение тюнов не подтверждены. Модель использует архитектуру Mixtral MoE с классом MixtralForCausalLM, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов.
Модель предназначена для генерации текста и диалогов в формате ChatML. В карточке указан датасет Open-Orca/SlimOrca. Доступны веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.
Автор предупреждает, что это экспериментальная модель и не обещает хорошего качества; заявленное улучшение функции потерь не подтверждает качество ответов или снижение нежелательного поведения. Коммерческое использование ограничено лицензией CC BY-NC 4.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a dumb experiment - don't expect it to be good!
I merged a few Mixtral models together then tuned only the routing parameters. There was a pretty steep drop in loss with only a bit of training - went from ~0.99 to ~.7 over about ten million tokens.
I'm hoping this after-the-fact balancing will have reduced some of the nasty behavior typical of current tunes. But maybe it just made it even dumber! We'll see.
Uses ChatML format.
Will update with more details if it turns out promising.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…