Характеристики

Контекст: 32 768 токенов
Параметры: 22 млрд
Размер весов: 44,5 ГБ
Лицензия: Своя лицензия
Архитектура: mistral · dense
Базовая модель: Mistral-Small-Instruct-2409
Библиотека: transformers
Опубликована: 1 дек 2024

Ссылки

Hugging Face

MS-Schisandra-22B-v0.3

Nohobby

Генерация текстаТекст → текст3 профессии

Schisandra 22B v0.3 — объединённая модель Mistral для генерации выразительного текста и ролевого общения.

24скачиваний за 30 дней3лайкавеса обновлены3 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Nohobby разработал Schisandra 22B v0.3 — объединённую модель на архитектуре Mistral для генерации текста и ролевого общения. В карточке указаны ролевые игры как основное применение и формат промптов Mistral-V3. Модель создана путём слияния нескольких моделей, среди которых ArliAI/Mistral-Small-22B-ArliAI-RPMax-v1.1, Gryphe/Pantheon-RP-Pure-1.6.2-22b-Small и anthracite-org/magnum-v4-22b.

Модель содержит 22 млрд параметров, принимает текст и генерирует текст. Контекст — до 32 768 токенов. README отмечает, что в версии v0.3 письмо стало выразительнее, а варианты генерации — более различными; при этом следование инструкциям могло ухудшиться по сравнению с v0.2. В метаданных указан английский язык. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в карточке модели и у авторов компонентов слияния.

Сценарии применения

ведение ролевых диалогов с персонажами
создание художественных сцен и прозы
генерация нескольких отличающихся вариантов продолжения
диалоговая генерация текста на английском языке

Ограничения

Автор отмечает, что по сравнению с v0.2 у модели могло ухудшиться следование инструкциям. Указана лицензия other; условия использования следует уточнить по карточке и лицензиям объединённых моделей.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Schisandra

Many thanks to the authors of the models used!

Overview

Main uses: RP

Prompt format: Mistral-V3

At the moment, I'm not entirely sure it's an improvement on v0.2. It may have lost some of the previous version's instruction following, but the writing seems a little more vivid and the swipes are more distinct.

Quants

GGUF

exl2: 5.5bpw

Settings

My SillyTavern preset: https://huggingface.co/Nohobby/MS-Schisandra-22B-v0.3/resolve/main/ST-formatting-Schisandra0.3.json

Merge Details

Merging steps

Karasik-v0.3

models:
  - model: Mistral-Small-22B-ArliAI-RPMax-v1.1
    parameters:
      weight: [0.2, 0.3, 0.2, 0.3, 0.2]
      density: [0.45, 0.55, 0.45, 0.55, 0.45]
  - model: Mistral-Small-NovusKyver
    parameters:
      weight: [0.01768, -0.01675, 0.01285, -0.01696, 0.01421]
      density: [0.6, 0.4, 0.5, 0.4, 0.6]
  - model: MiS-Firefly-v0.2-22B
    parameters:
      weight: [0.208, 0.139, 0.139, 0.139, 0.208]
      density: [0.7]
  - model: magnum-v4-22b
    parameters:
      weight: [0.33]
      density: [0.45, 0.55, 0.45, 0.55, 0.45]
merge_method: della_linear
base_model: Mistral-Small-22B-ArliAI-RPMax-v1.1
parameters:
  epsilon: 0.05
  lambda: 1.05
  int8_mask: true
  rescale: true
  normalize: false
dtype: bfloat16
tokenizer_source: base

SchisandraVA3

(Config taken from here)

merge_method: della_linear
dtype: bfloat16
parameters:
  normalize: true
  int8_mask: true
tokenizer_source: base
base_model: Cydonia-22B-v1.3
models:
    - model: Karasik03
      parameters:
        density: 0.55
        weight: 1
    - model: Pantheon-RP-Pure-1.6.2-22b-Small
      parameters:
        density: 0.55
        weight: 1
    - model: ChatWaifu_v2.0_22B
      parameters:
        density: 0.55
        weight: 1
    - model: MS-Meadowlark-Alt-22B
      parameters:
        density: 0.55
        weight: 1
    - model: SorcererLM-22B
      parameters:
        density: 0.55
        weight: 1

Schisandra-v0.3

dtype: bfloat16
tokenizer_source: base
merge_method: della_linear
parameters:
  density: 0.5
base_model: SchisandraVA3
models:
  - model: unsloth/Mistral-Small-Instruct-2409
    parameters:
      weight:
        - filter: v_proj
          value: [0, 0, 1, 1, 1, 1, 1, 1, 1, 0, 0]
        - filter: o_proj
          value: [1, 0, 1, 0, 0, 0, 0, 0, 1, 1, 1]
        - filter: up_proj
          value: [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
        - filter: gate_proj
          value: [0, 0, 1, 1, 1, 1, 1, 1, 1, 0, 0]
        - filter: down_proj
          value: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
        - value: 0
  - model: SchisandraVA3
    parameters:
      weight:
        - filter: v_proj
          value: [1, 1, 0, 0, 0, 0, 0, 0, 0, 1, 1]
        - filter: o_proj
          value: [0, 1, 0, 1, 1, 1, 1, 1, 0, 0, 0]
        - filter: up_proj
          value: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
        - filter: gate_proj
          value: [1, 1, 0, 0, 0, 0, 0, 0, 0, 1, 1]
        - filter: down_proj
          value: [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
        - value: 1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: 7ce821a