Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Размер весов: 48,3 ГБ
Лицензия: CC BY-NC 4.0
Архитектура: mixtral · MoE
Опубликована: 18 янв 2024

Ссылки

Hugging Face

Mixtral_7Bx4_MOE_DPO

cloudyu

Генерация текстаТекст → текст8 профессий

Дообученная методом DPO модель Mixtral для генерации текста с контекстом до 32 768 токенов.

117скачиваний за 30 дней2лайкавеса обновлены1 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

cloudyu/Mixtral_7Bx4_MOE_DPO — версия модели Mixtral, дообученная методом Direct Preference Optimization (DPO) на основе cloudyu/Mixtral_7Bx4_MOE_24B. Она предназначена для генерации текста; карточка сообщает об улучшении метрик после DPO, но не приводит сами метрики или подробности обучения.

Модель использует архитектуру MixtralForCausalLM с механизмом смеси экспертов (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Сценарии применения

генерация текста по запросу
подготовка черновиков и продолжение текста
диалоговое взаимодействие на основе текстовых запросов

Ограничения

Карточка не приводит результаты метрик и не описывает обучающие данные или языковой охват. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.