Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Размер весов: 93,4 ГБ
Лицензия: CC BY-NC 4.0
Архитектура: mixtral · MoE
Опубликована: 3 мар 2024

Ссылки

Hugging Face

Thespis-CurtainCall-8x7b-v0.3

cgato

Генерация текстаТекст → текст5 профессий

Экспериментальная диалоговая модель Mixtral для генерации ответов, инструкций и творческих текстов.

14скачиваний за 30 дней1лайквеса обновлены3 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Thespis-CurtainCall-8x7b-v0.3 — диалоговая модель cgato на архитектуре Mixtral с разреженной смесью экспертов (MoE), опубликованная в формате PyTorch. Автор описывает её как свою первую версию на Mixtral и указывает, что модель обучалась на наборах Dolphin, UltraChat, Capybara, Augmental, ToxicQA, Magiccoder-Evol-Instruct-110k, Yahoo Answers, OpenOrca, Airoboros 3.1, а также данных по физическому рассуждению и теории разума. В метаданных указаны 7,1 млрд параметров и контекст до 32 768 токенов.

Модель предназначена для генерации диалоговых ответов и инструкций; автор приводит шаблоны Ooba и SillyTavern и отмечает, что для Mixtral стоит подбирать сравнительно высокую температуру генерации. В обучающих данных есть кодовые задания, вопросы и ответы, токсичные запросы, рассуждения и ролевые диалоги, поэтому модель может быть полезна для чат-ботов, творческого письма и экспериментов с инструкционной генерацией. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка не приводит оценок качества или подробных ограничений; это личный эксперимент автора.

Сценарии применения

создание диалогового чат-бота
генерация ответов на инструкции и вопросы
написание ролевых диалогов и творческих текстов
генерация кода по текстовому запросу
эксперименты с рассуждениями и диалоговыми моделями

Ограничения

Автор рекомендует подбирать параметры семплирования и указывает ориентировочный диапазон температуры 1,25–2,0. Карточка не сообщает результатов оценивания качества; лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

I.2Синтез, понимание и проверка знаний

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

A bigger badder Thespis and my first pass at Mixtral.

Datasets Used:

Dolphin
Ultrachat
Capybara
Augmental
ToxicQA
Magiccoder-Evol-Instruct-110k
Yahoo Answers
OpenOrca
Airoboros 3.1
grimulkan/physical-reasoning and theory-of-mind

Prompt Format: Chat ( The default Ooba template and Silly Tavern Template )

{System Prompt}

Username: {Input}
BotName: {Response}
Username: {Input}
BotName: {Response}

Mixtral seems to require higher temperatures overall compared to Mistral 7b, please mess with your samplers until you find a setting you like.

Recommended Sampler Setting Ranges

Temp: 1.25 - 2.0
MinP: 0.1
RepPen: 1.05 - 1.10

Presets ( For the lazy!~ )

Recommended Silly Tavern Preset -> Universal-Creative

Recommended Kobold Horde Preset -> MinP

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: MixtralForCausalLM
Ревизия весов: f31fa43