/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
14,5 ГБ
Лицензия
Apache 2.0
Архитектура
mistral · dense
Опубликована
15 ноя 2023

Thespis-Mistral-7b-v0.6

Генерация текстаТекст → текст3 профессии

Дообученная 7-миллиардная Mistral для многоходовых ролевых чатов с персонажами в SFW- и NSFW-сценариях.

19скачиваний за 30 дней10лайковвеса обновлены15 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Thespis-Mistral-7b-v0.6 — личный проект автора cgato: версия 7B модели Mistral, дообученная для многоходового ролевого общения. Она рассчитана на SFW- и NSFW-сценарии, поддерживает стандартный чат-шаблон и подходит для ролевых чатов в Ooba или SillyTavern, в том числе для общения с персонажами и использования в чат-ботах. Автор отмечает, что модель лучше работает с ролевым текстом в интернет-стиле: действия заключаются в звёздочки, реплики пишутся без кавычек.

Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов. Дообучение использовало диалоги из нескольких наборов данных и вручную отобранные ролевые беседы. Распространяется в формате PyTorch по лицензии Apache-2.0. Автор оценивает её производительность как промежуточную между Llama 7B и Llama 13B; это субъективная оценка по собственным тестам.

Сценарии применения

  • многоходовая ролевая переписка с персонажем
  • создание чат-бота для ролевого общения
  • генерация реплик и описаний действий в интернет-стиле RP
  • общение с персонажами через Ooba или SillyTavern

Ограничения

Автор указывает, что модель лучше работает с ролевым текстом в интернет-стиле и рекомендует форматировать действия звёздочками, а реплики оставлять без кавычек. Сравнительная оценка производительности основана на тестировании автора.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

Mistral 7b Version of v0.6 ( with some extras )

This version has some additional data vs the llama2 13b version. Making it something of a 0.6 and a half or something. But that's confusing.

The 7b version of my Thespis finetune. From my testing it seems to perform somewhere between llama 7b and llama 13b.

This model is a personal project. It uses a vanilla chat template and is focused on providing multiturn sfw and nsfw RP experience.

This model works best with internet style RP using standard markup with asterisks surrounding actions and no quotes around dialogue.

It uses the following data:

  • 2200 samples from Pure-Dove Dataset ( 90 token length or greater. )
  • 2200 samples from Claude Multiround 30k ( 90 token length or greater. )
  • 700 samples from Airoboros 3.1 ( Writing samples longer than 1500 tokens only. )
  • 900 samples from the Augmental Dataset ( 90 token length or greater )
  • 6000 samples of hand curated RP conversation with various characters.

Works with standard chat format for Ooba or SillyTavern.

Prompt Format: Chat ( The default Ooba template and Silly Tavern Template )

{System Prompt}

Username: {Input}
BotName: {Response}
Username: {Input}
BotName: {Response}

Ooba ( Set it to Chat, select a character and go. )

image/png

Silly Tavern Settings ( Default )

image/png

Turn Template (for Ooba Instruct if making a Discord bot or Some other Many to one Chat):

You can either bake usernames into the prompt directly for ease of use or programatically add them if running through the API to use as a chatbot.

User string: ( Leave empty if populating username into prompt through a script. Put in your username if its a 1 on 1 convo.) Ex. "DiscordUser1: "
Bot String: ( The bots name, followed by a colon and a space.) Ex. "Mayo: "
Context: ( Your bots system prompt, follow by a newline. )

<|user|><|user-message|>\n<|bot|><|bot-message|>\n

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
8f02867

0 моделей