Характеристики

Контекст: 32 768 токенов
Параметры: 22 млрд
Размер весов: 44,5 ГБ
Лицензия: Своя лицензия
Архитектура: mistral · dense
Базовая модель: Mistral-Small-Instruct-2409
Библиотека: transformers
Опубликована: 26 окт 2024

Ссылки

Hugging Face

MS-Schisandra-22B-v0.1

Nohobby

Генерация текстаТекст → текст3 профессии

Schisandra — англоязычная 22-миллиардная модель Mistral для ролевых диалогов и написания историй.

39скачиваний за 30 дней5лайковвеса обновлены3 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

MUSR
MUSR Raw · выше — лучше
Результат
0,3928
Open LLM v2 · архив
Публичная таблицадругая ревизия
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,4096
Open LLM v2 · архив
Публичная таблицадругая ревизия
GPQA
GPQA Raw · выше — лучше
Результат
0,3322
Open LLM v2 · архив
Публичная таблицадругая ревизия
BBH
BBH Raw · выше — лучше
Результат
0,579
Open LLM v2 · архив
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,2228
Open LLM v2 · архив
Публичная таблицадругая ревизия
IFEval
IFEval Raw · выше — лучше
Результат
0,6331
Open LLM v2 · архив
Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Schisandra — англоязычная диалоговая модель Nohobby, созданная слиянием восьми дообученных моделей Mistral Small и последующим объединением результата с исходной моделью. Она предназначена прежде всего для ролевых диалогов и написания историй. Модель имеет плотную архитектуру Mistral, содержит 22 млрд параметров и поддерживает контекст длиной до 32 768 токенов.

Автор отмечает улучшенную связность продолжения и более точное произношение имён по сравнению с предыдущей версией. Для более подходящих ответов рекомендуются подробная карточка персонажа или история диалога. Модель распространяется в формате safetensors; в метаданных указана лицензия other, конкретные условия использования следует уточнять в карточке репозитория.

Сценарии применения

ролевые диалоги с персонажами
написание художественных историй
продолжение заданного литературного стиля
ответы в рамках карточки персонажа
продолжение существующего диалога

Ограничения

Для более подходящих ответов автор рекомендует использовать подробную карточку персонажа или существующую историю диалога. Указана лицензия other, поэтому условия использования нужно проверить на странице модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Schisandra

Many thanks to the authors of the models used!

The new version writes better and doesn't mispronounce names anymore!

https://huggingface.co/Nohobby/MS-Schisandra-22B-v0.2

Overview

Main uses: RP, Storywriting

Merge of 8 Mistral Small finetunes in total, which were then merged back into the original model to make it less stupid. Worked somehow? Definitely smarter than my previous MS merge and maybe some finetunes. Seems to really adhere to the writing style of the previous output, so you'll need either a good character card or an existing chat for a better replies.

Quants

Static

Imatrix

Settings

Prompt format: Mistral-V3 Tekken

Samplers: These or These

Merge Details

Merging steps

QCmix

base_model: InferenceIllusionist/SorcererLM-22B
parameters:
  int8_mask: true
  rescale: true
  normalize: false
dtype: bfloat16
tokenizer_source: base
merge_method: della
models:
  - model: Envoid/Mistral-Small-NovusKyver
    parameters:
      density: [0.35, 0.65, 0.5, 0.65, 0.35]
      epsilon: [0.1, 0.1, 0.25, 0.1, 0.1]
      lambda: 0.85
      weight: [-0.01891, 0.01554, -0.01325, 0.01791, -0.01458]
  - model: rAIfle/Acolyte-22B
    parameters:
      density: [0.6, 0.4, 0.5, 0.4, 0.6]
      epsilon: [0.15, 0.15, 0.25, 0.15, 0.15]
      lambda: 0.85
      weight: [0.01768, -0.01675, 0.01285, -0.01696, 0.01421]

Schisandra-vA

merge_method: della_linear
dtype: bfloat16
parameters:
  normalize: true
  int8_mask: true
tokenizer_source: union
base_model: TheDrummer/Cydonia-22B-v1.2
models:
    - model: ArliAI/Mistral-Small-22B-ArliAI-RPMax-v1.1
      parameters:
        density: 0.55
        weight: 1
    - model: Gryphe/Pantheon-RP-Pure-1.6.2-22b-Small
      parameters:
        density: 0.55
        weight: 1
    - model: spow12/ChatWaifu_v2.0_22B
      parameters:
        density: 0.55
        weight: 1
    - model: anthracite-org/magnum-v4-22b
      parameters:
        density: 0.55
        weight: 1
    - model: QCmix
      parameters:
        density: 0.55
        weight: 1

Schisandra

dtype: bfloat16
tokenizer_source: base
merge_method: della_linear
parameters:
  density: 0.5
base_model: Schisandra
models:
  - model: unsloth/Mistral-Small-Instruct-2409
    parameters:
      weight:
        - filter: v_proj
          value: [0, 0, 1, 1, 1, 1, 1, 1, 1, 0, 0]
        - filter: o_proj
          value: [1, 0, 1, 0, 0, 0, 0, 0, 1, 1, 1]
        - filter: up_proj
          value: [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
        - filter: gate_proj
          value: [0, 0, 1, 1, 1, 1, 1, 1, 1, 0, 0]
        - filter: down_proj
          value: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
        - value: 0
  - model: Schisandra
    parameters:
      weight:
        - filter: v_proj
          value: [1, 1, 0, 0, 0, 0, 0, 0, 0, 1, 1]
        - filter: o_proj
          value: [0, 1, 0, 1, 1, 1, 1, 1, 0, 0, 0]
        - filter: up_proj
          value: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
        - filter: gate_proj
          value: [1, 1, 0, 0, 0, 0, 0, 0, 0, 1, 1]
        - filter: down_proj
          value: [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
        - value: 1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: 0eb783b

Характеристики

Ссылки

MS-Schisandra-22B-v0.1

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки6

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит3

Карточка модели

Schisandra

Overview

Quants

Settings

Merge Details

Merging steps

QCmix

Schisandra-vA

Schisandra

Как запустить