Характеристики

Базовая модель: Mistral-Small-Instruct-2409-abliterated
Библиотека: transformers
Опубликована: 27 дек 2024

Ссылки

Hugging Face arXiv 2311.03099 arXiv 2306.01708

MS-Magpantheonsel-lark-v4x1.6.2RP-Cydonia-vXXX-22B-8.1

Kaoeiri

Генерация текстаТекст → текст

Слитая на базе Mistral Small 22B языковая модель Kaoeiri для диалогов, ролевых сценариев и генерации историй.

4скачиваний за 30 дней0лайковвеса обновлены27 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Kaoeiri/MS-Magpantheonsel-lark-v4x1.6.2RP-Cydonia-vXXX-22B-8.1 — диалоговая языковая модель, созданная Kaoeiri как слияние предварительно обученных и дообученных моделей с помощью mergekit и методов DARE и TIES. В качестве базовой модели в README названа unsloth/Mistral-Small-Instruct-2409; в объединение также вошли модели для ролевых диалогов и генерации историй, включая варианты Mistral Small 22B и Cydonia.

Модель предназначена для генерации текста в диалогах и ролевых сценариях, в том числе для создания художественных историй и ответов в стиле персонажа. По метаданным, это текстовая модель на архитектуре Mistral, распространяемая в формате safetensors и имеющая возможность чата. README описывает её как слияние моделей, а метаданные указывают на 22B в названии репозитория.

Качество и поведение унаследованы от компонентов слияния и могут различаться в зависимости от запроса; конкретный размер контекста и поддерживаемые языки в доступных данных не подтверждены. Лицензия не указана в предоставленных материалах, поэтому условия использования следует проверять на странице репозитория и у включённых моделей.

Сценарии применения

ведение ролевых диалогов с персонажами
генерация художественных историй
создание ответов в заданном стиле
текстовые диалоги с чат-ботом

Ограничения

Поддерживаемые языки и длина контекста не подтверждены предоставленными данными. Лицензия в README и метаданных не указана.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/webp

🌟 Model Merge Overview 🌟

This is a merge of pre-trained and finetuned language models created using mergekit.

🔧 Merge Method

This model was merged using the DARE and TIES merge methods, with unsloth/Mistral-Small-Instruct-2409 as the base model.

🧠 Models Merged

The following models were included in the merge, combining the power and capabilities of various high-performance language models:

⚙️ Configuration Details

Here is the YAML configuration used to create this powerful merged model:

models:
  - model: anthracite-org/magnum-v4-22b
    parameters:
      weight: 1.0
      density: 0.85
  - model: TheDrummer/Cydonia-22B-v1.3
    parameters:
      weight: 0.24
      density: 0.69
  - model: TheDrummer/Cydonia-22B-v1.2
    parameters:
      weight: 0.14
      density: 0.67
  - model: TheDrummer/Cydonia-22B-v1.1
    parameters:
      weight: 0.16
      density: 0.67
  - model: Gryphe/Pantheon-RP-Pure-1.6.2-22b-Small
    parameters:
      weight: 0.26
      density: 0.75
  - model: allura-org/MS-Meadowlark-22B
    parameters:
      weight: 0.27
      density: 0.71
  - model: spow12/ChatWaifu_v2.0_22B
    parameters:
      weight: 0.27
      density: 0.7
  - model: Saxo/Linkbricks-Horizon-AI-Japanese-Superb-V1-22B
    parameters:
      weight: 0.2
      density: 0.58
  - model: crestf411/MS-sunfall-v0.7.0
    parameters:
      weight: 0.22
      density: 0.71
  - model: byroneverson/Mistral-Small-Instruct-2409-abliterated+rAIfle/Acolyte-LORA
    parameters:
      weight: 0.24
      density: 0.7
  - model: InferenceIllusionist/SorcererLM-22B
    parameters:
      weight: 0.21
      density: 0.72
  - model: unsloth/Mistral-Small-Instruct-2409+Kaoeiri/Moingooistrial-22B-V1-Lora
    parameters:
      weight: 0.32
      density: 0.76
  - model: ArliAI/Mistral-Small-22B-ArliAI-RPMax-v1.1
    parameters:
      weight: 0.12
      density: 0.65
  - model: Darkknight535/MS-Moonlight-22B-v3
    parameters:
      weight: 0.12
      density: 0.62
  - model: hf-100/Mistral-Small-Instruct-2409-Spellbound-StoryWriter-22B-instruct-0.4-chkpt-336-16bit
    parameters:
      weight: 0.28
      density: 0.74
  - model: TroyDoesAI/BlackSheep-MermaidMistral-22B
    parameters:
      weight: 0.24
      density: 0.7

merge_method: dare_ties
base_model: unsloth/Mistral-Small-Instruct-2409
parameters:
  density: 0.85
  epsilon: 0.09
  lambda: 1.22
dtype: bfloat16

🙏 Special Thanks

A huge THANK YOU to the authors and creators of these base models, whose work and dedication make this possible. We deeply appreciate their contributions to the machine learning community.

Special acknowledgment to Hugging Face for providing a platform where these models are shared and developed.

Gratitude to the creators behind the DARE and TIES techniques for pushing the boundaries of model merging.

Without their efforts, this project would not have been possible. 🚀

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 4ea69ee