Экспериментальная чат-модель Mistral-7B, дообученная методом ORPO для генерации ответов на текстовые запросы.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
alvarobartt выпустил экспериментальную чат-модель на базе Mistral-7B-v0.1, дообученную методом ORPO на наборе alvarobartt/dpo-mix-7k-simplified. Модель предназначена для генерации текста в диалоговом формате и может использоваться для создания ответов на запросы пользователя.
Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Она принимает текст и генерирует текст, ориентирована на английский язык. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.
Автор README отмечает экспериментальный статус обучения: на момент публикации ORPOTrainer ещё ожидал слияния соответствующего PR в библиотеке TRL. Это может влиять на воспроизводимость процесса дообучения; отдельные гарантии качества или результаты оценки в карточке не приведены.
Обучение обозначено автором как экспериментальное; в README указано, что ORPOTrainer PR ещё не был объединён. Карточка не приводит результаты оценки качества модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Stable Diffusion XL "A capybara, a killer whale, and a robot named Ultra being friends"
This is an ORPO fine-tune of mistralai/Mistral-7B-v0.1 with
alvarobartt/dpo-mix-7k-simplified.
⚠️ Note that the code is still experimental, as the ORPOTrainer PR is still not merged, follow its progress
at 🤗trl - ORPOTrainer PR.
ORPO: Monolithic Preference Optimization without Reference Model
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…