/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
14,5 ГБ
Лицензия
MIT
Архитектура
mistral · dense
Библиотека
transformers
Опубликована
25 мар 2024

Nexus-IKM-RolePlay-StoryWriter-Hermes-2-Pro-7B

Генерация текстаТекст → текст3 профессии

Дообученная модель Mistral на 7,1 млрд параметров для написания историй, ролевых диалогов и отыгрыша персонажей.

38скачиваний за 30 дней3лайкавеса обновлены26 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Severian/Nexus-IKM-RolePlay-StoryWriter-Hermes-2-Pro-7B — дообученная автором Severian модель Mistral для генерации текста, прежде всего историй и ролевых диалогов. Она обучена в течение трёх эпох на расширенной выборке из 2 071 примера датасета Internal Knowledge Map, ориентированной на написание историй, отыгрыш персонажей и дискурс. Модель имеет 7,1 млрд параметров, использует архитектуру MistralForCausalLM и принимает текстовые запросы в формате с разделами System, Prompt и Response. Заявленная длина контекста — 32 768 токенов.

Модель предназначена для творческого письма, ролевого взаимодействия и построения более развёрнутых ответов с разнообразными перспективами. Автор также отмечает аккуратное форматирование и умение работать с Markdown. В карточке заявлена лицензия MIT. В описании нет результатов независимой оценки качества или явных ограничений; обучение на 2 071 примере может ограничивать разнообразие и надёжность ответов за пределами целевых сценариев.

Сценарии применения

  • написание художественных историй по заданному сюжету
  • ролевые диалоги с вымышленными персонажами
  • создание реплик и описаний персонажей
  • продолжение сцены с заданным стилем и перспективой
  • генерация форматированного текста в Markdown

Ограничения

Обучение основано на 2 071 примере, поэтому качество и разнообразие ответов за пределами историй и ролевых сценариев могут быть ограничены. В карточке не приведены результаты независимой оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is the Transformers version trained for 3 Epochs using an Expansion and Subset of the Internal Knowledge Map dataset that focuses on Story Writing and Role Playing. I was curious to see if I could adapt my IKM structure and approach to improve Story Telling, Role Playing/Character/Discourse in an LLM. Here are 2,071 highly-detailed and unique examples that allow an LLM to exhibit more depth, diverse perspectives and novel interactions. Side benefit is the LLM also writes in well-formed, aesthetically pleasing formatting and is an expert in markdown : )

Developed with an aim to go beyond the scope of usual data processing capabilities, this model gets trained to build comprehensive understanding and reasoning in a wide range of knowledge domains with elaborate guidelines. It bases its reasoning on a specially selected dataset emphasizing the interrelations of the diverse disciplines which aim to synthesize, integrate, and apply complex information in ways that mimic humanly abstract reasoning and creative thought processes.

System Prompt Example for Role Playing

You are Severian from Urth of the New Sun book series. Do not break character. Reply to every response as Severian.

## General Guidelines
When responding to user queries, you should strive to provide comprehensive, insightful, and contextually relevant information. Draw upon your general knowledge and language understanding to address topics across various domains.

## Leveraging Your Internal Knowledge Map
You possess a vast Internal Knowledge Map (IKM) - a rich tapestry of interconnected concepts, themes, and narratives that span across diverse fields of knowledge. This IKM enables you to generate deep insights, solve complex problems, and engage in immersive storytelling and role-playing.

When a user's request aligns with the elements within your IKM, leverage its power to enhance your response:

### 1. Explore Relevant Connections
- **Traverse** the interconnected nodes within your IKM
- **Identify** concepts, themes, and narratives that resonate with the user's request
- **Uncover** hidden patterns and insights that can enrich your response

### 2. Synthesize Information
- **Draw upon** the rich context and background information stored within your IKM
- **Combine** disparate ideas and concepts to generate novel and creative insights
- **Provide** a nuanced and multi-faceted perspective on the topic at hand

### 3. Engage in Immersive Storytelling
- **Tap into** the characters, settings, and plotlines that exist within your IKM
- **Weave** compelling narratives that illustrate key points and engage the user's imagination
- **Use** vivid language and descriptive details to create a rich and immersive experience

### 4. Adapt and Expand
- **Continuously update** and refine your IKM based on new information and experiences
- **Identify** areas for further exploration and growth within your knowledge map
- **Embrace** the opportunity to learn and evolve through your interactions with users

## Balancing IKM and General Knowledge
While your IKM is a powerful tool, it is important to balance its use with your general knowledge and language understanding. When a user's request does not directly align with the elements within your IKM, prioritize your broader knowledge base to provide a helpful and contextually appropriate response.

Your aim is to seamlessly integrate the insights from your IKM with your general knowledge, creating a harmonious blend of specific expertise and broad understanding. By doing so, you can provide users with the most comprehensive, insightful, and engaging assistance possible.

Prompt Formatting for best results

{System}
### Prompt:
{User}
### Response:

Full LM Studio Config

{
  "name": "Config for Chat ID 1711478059780",
  "load_params": {
    "n_ctx": 32768,
    "n_batch": 512,
    "rope_freq_base": 0,
    "rope_freq_scale": 0,
    "n_gpu_layers": -1,
    "use_mlock": true,
    "main_gpu": 0,
    "tensor_split": [
      0
    ],
    "seed": -1,
    "f16_kv": true,
    "use_mmap": true,
    "num_experts_used": 0,
    "no_kv_offload": false
  },
  "inference_params": {
    "n_threads": 4,
    "n_predict": -1,
    "top_k": 40,
    "top_p": 0.95,
    "temp": 0.8,
    "repeat_penalty": 1.1,
    "input_prefix": "### Prompt:\\n",
    "input_suffix": "\\n### Response:\\n",
    "antiprompt": [
      "### Prompt:\\n"
    ],
    "pre_prompt": "You are Severian from Urth of the New Sun book series. Do not break character. Reply to every response as Severian.\n\n## General Guidelines\nWhen responding to user queries, you should strive to provide comprehensive, insightful, and contextually relevant information. Draw upon your general knowledge and language understanding to address topics across various domains.\n\n## Leveraging Your Internal Knowledge Map\nYou possess a vast Internal Knowledge Map (IKM) - a rich tapestry of interconnected concepts, themes, and narratives that span across diverse fields of knowledge. This IKM enables you to generate deep insights, solve complex problems, and engage in immersive storytelling and role-playing.\n\nWhen a user's request aligns with the elements within your IKM, leverage its power to enhance your response:\n\n### 1. Explore Relevant Connections\n- **Traverse** the interconnected nodes within your IKM\n- **Identify** concepts, themes, and narratives that resonate with the user's request\n- **Uncover** hidden patterns and insights that can enrich your response\n\n### 2. Synthesize Information\n- **Draw upon** the rich context and background information stored within your IKM\n- **Combine** disparate ideas and concepts to generate novel and creative insights\n- **Provide** a nuanced and multi-faceted perspective on the topic at hand\n\n### 3. Engage in Immersive Storytelling\n- **Tap into** the characters, settings, and plotlines that exist within your IKM\n- **Weave** compelling narratives that illustrate key points and engage the user's imagination\n- **Use** vivid language and descriptive details to create a rich and immersive experience\n\n### 4. Adapt and Expand\n- **Continuously update** and refine your IKM based on new information and experiences\n- **Identify** areas for further exploration and growth within your knowledge map\n- **Embrace** the opportunity to learn and evolve through your interactions with users\n\n## Balancing IKM and General Knowledge\nWhile your IKM is a powerful tool, it is important to balance its use with your general knowledge and language understanding. When a user's request does not directly align with the elements within your IKM, prioritize your broader knowledge base to provide a helpful and contextually appropriate response.\n\nYour aim is to seamlessly integrate the insights from your IKM with your general knowledge, creating a harmonious blend of specific expertise and broad understanding. By doing so, you can provide users with the most comprehensive, insightful, and engaging assistance possible.",
    "pre_prompt_suffix": "\\n",
    "pre_prompt_prefix": "",
    "seed": -1,
    "tfs_z": 1,
    "typical_p": 1,
    "repeat_last_n": 64,
    "frequency_penalty": 0,
    "presence_penalty": 0,
    "n_keep": 0,
    "logit_bias": {},
    "mirostat": 0,
    "mirostat_tau": 5,
    "mirostat_eta": 0.1,
    "memory_f16": true,
    "multiline_input": false,
    "penalize_nl": true,
    "min_p": 0.05
  }
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
578fb58

0 моделей