Характеристики

Контекст: 65 536 токенов
Параметры: 22 млрд
Размер весов: 281 ГБ
Лицензия: Apache 2.0
Архитектура: mixtral · MoE
Опубликована: 25 мая 2024

Ссылки

mixtral-8x22B-v0.3

Генерация текстаТекст → текст15 профессий

Текстовая модель Mixtral с архитектурой смеси экспертов для генерации текста, диалогов и взаимодействия через интерфейс вызова инструментов.

59скачиваний за 30 дней3лайкавеса обновлены14 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,1835
Open LLM v2 · архив
Публичная таблицадругая ревизия
MUSR
MUSR Raw · выше — лучше
Результат
0,4037
Open LLM v2 · архив
Публичная таблицадругая ревизия
IFEval
IFEval Raw · выше — лучше
Результат
0,2583
Open LLM v2 · архив
Публичная таблицадругая ревизия
BBH
BBH Raw · выше — лучше
Результат
0,625
Open LLM v2 · архив
Публичная таблицадругая ревизия
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,4639
Open LLM v2 · архив
Публичная таблицадругая ревизия
GPQA
GPQA Raw · выше — лучше
Результат
0,3775
Open LLM v2 · архив
Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mistral-community/mixtral-8x22B-v0.3 — текстовая генеративная модель семейства Mixtral, опубликованная сообществом mistral-community. Архитектура — MixtralForCausalLM с механизмом смеси экспертов (MoE); модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Контекстное окно составляет до 65 536 токенов.

Эта версия соответствует v0.1, но использует токенизатор большего размера. В репозитории представлены веса Safetensors; лицензия — Apache-2.0. Карточка предупреждает, что чекпойнт может быть неактуальным, и рекомендует использовать соответствующую версию у организации-разработчика.

Сценарии применения

генерация связных текстов по запросу
ведение диалога с пользователем
ответы на вопросы в текстовом чате
подготовка длинных текстовых ответов с большим контекстом
взаимодействие с инструментами через диалоговый интерфейс

Ограничения

В карточке указано, что чекпойнт может быть неактуальным; рекомендуется использовать соответствующую версию у организации-разработчика. Описание версии сообщает об увеличенном токенизаторе относительно v0.1.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

[!WARNING] This model checkpoint is provided as-is and might not be up-to-date. Please use the corresponding version from https://huggingface.co/mistralai org

It is the same as v0.1 but with a bigger tokenizer

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: MixtralForCausalLM
Ревизия весов: b061e5a