Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Mixtral-8x22B-Capyboros-v1 — дообученная с помощью QLoRA языковая модель автора tdrussell на базе Mixtral-8x22B-v0.1. Она использует архитектуру Mixtral с разреженными экспертами и предназначена для генерации текста в формате инструкций Mistral: запрос заключают между маркерами [INST] и [/INST]. Обучение проведено на сочетании датасетов Capybara и Airoboros; адаптер имеет ранг LoRA 64, обучение шло два эпоха с длиной последовательности 4096 токенов.
Модель подходит для диалоговых ответов, объяснения понятий и выполнения текстовых инструкций. В репозитории есть веса safetensors и отдельный квантованный вариант GGUF Q4_K_S; README сообщает, что квантованный файл помещается при контексте не менее 16 тысяч токенов на видеопамяти 96 ГБ. Метаданные указывают размер 22B параметров и нативный контекст 65536 токенов. Лицензия — Apache-2.0. Результаты зависят от формата промпта и могут наследовать ограничения обучающих данных; сведений о систематической оценке качества нет.
Сценарии применения
ответы на вопросы и ведение диалога
объяснение сложных понятий простым языком
выполнение текстовых инструкций
генерация и продолжение текста
Ограничения
Для промптов следует использовать формат Mistral Instruct с маркерами [INST] и [/INST]. README не приводит результатов оценки качества; указанные 4096 токенов относятся к длине последовательности обучения, а не гарантируют качество на более длинном контексте.
Для каких профессий подходит13
Разделы каталога профессий, в задачах которых используется эта модель
QLoRA fine-tune of Mixtral-8x22B-v0.1 on a combination of the Capybara and Airoboros datasets.
Uses Mistral instruct formatting, like this:
[INST] Describe quantum computing to a layperson. [/INST]
Model details:
Trained with QLoRA, on 4 4090s, using my own qlora-pipe training script
LoRA rank 64
4096 sequence length
2 epochs
You can find the LoRA adapter files here. I have also uploaded a single quant (GGUF q4_k_s) here if you want to try it without quantizing yourself or waiting for someone else to make all the quants. It fits with at least 16k context length on 96GB VRAM.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров