/ Модель

Характеристики

Контекст
1 024 000 токенов
Параметры
12,1 млрд
Размер весов
24,5 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
mistral · dense
Базовая модель
magnum-v2.5-12b-
Библиотека
transformers
Опубликована
10 окт 2024

ChatWaifu_12B_v2.0

Генерация текстаТекст → текст3 профессии

Слитая модель Mistral Nemo на 12,1 млрд параметров для ролевых диалогов на японском и английском языках в образе персонажей визуальных новелл.

43скачиваний за 30 дней23лайкавеса обновлены14 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3388

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,5208

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,4432

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,071

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2768

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,4768

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ChatWaifu 12B v2.0 — языковая модель, созданная spow12 и собранная с помощью mergekit из нескольких моделей семейства Mistral Nemo, включая Magnum, Lyra, Pantheon-RP, Crimson Dawn и Himeyuri. Это плотная авторегрессионная модель типа CausalLM с 12,1 млрд параметров, предназначенная для диалогов в образе персонажей визуальных новелл и общения с чат-помощником. Карточка заявляет поддержку японского и английского языков; модель принимает текст и генерирует текст.

Модель ориентирована на ролевые беседы с персонажами, в том числе из перечисленных в карточке визуальных новелл. В обучающих данных есть японские ролевые диалоги, инструкции, код и примеры NSFW-содержимого, поэтому ответы могут включать контент для взрослых. В метаданных указан контекст до 1 024 000 токенов, однако README не описывает практические ограничения такого контекста. Репозиторий распространяется по лицензии CC BY-NC 4.0; автор также указывает некоммерческое и исследовательское использование.

Сценарии применения

  • Ролевое общение с персонажами визуальных новелл
  • Создание диалогов для текстовых приключений
  • Чат с японским или англоязычным виртуальным персонажем

Ограничения

Модель может генерировать NSFW-содержимое. Автор указывает на некоммерческое и исследовательское использование; лицензия репозитория — CC BY-NC 4.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

image

Merged model using mergekit

This model aimed to act like visual novel character.

Merge Format

models:
    - model: anthracite-org/magnum-v2.5-12b-kto
    - model: Sao10K/MN-12B-Lyra-v4
    - model: Gryphe/Pantheon-RP-1.6.1-12b-Nemo
    - model: Epiculous/Crimson_Dawn-v0.2
    - model: Elizezen/Himeyuri-v0.1-12B
    - model: Sao10K/MN-12B-Vespa-x1/sft_kto(private)
merge_method: model_stock
base_model: Sao10K/MN-12B-Vespa-x1/sft_kto(private)
dtype: bfloat16

WaifuModel Collections

Unified demo

WaifuAssistant

Update

  • 2024.10.11 Update 12B and 22B Ver 2.0
  • 2024.09.23 Update 22B, Ver 2.0_preview

Model Details

Model Description

  • Developed by: spow12(yw_nam)
  • Shared by : spow12(yw_nam)
  • Model type: CausalLM
  • Language(s) (NLP): japanese, english
  • Finetuned from model : Sao10K/MN-12B-Vespa-x1

Currently, chatbot has below personality.

charactervisual_novel
ムラサメSenren*Banka
茉子Senren*Banka
芳乃Senren*Banka
レナSenren*Banka
千咲Senren*Banka
芦花Senren*Banka
愛衣Café Stella and the Reaper's Butterflies
栞那Café Stella and the Reaper's Butterflies
ナツメCafé Stella and the Reaper's Butterflies
希Café Stella and the Reaper's Butterflies
涼音Café Stella and the Reaper's Butterflies
あやせRiddle Joker
七海Riddle Joker
羽月Riddle Joker
茉優Riddle Joker
小春Riddle Joker

Chat Format

<|im_start|>system
This is the system prompt.<|im_end|>
<|im_start|>user
Instructions placed here.<|im_end|>
<|im_start|>assistant
The model's response will be here.<|im_end|>

Usage

You can use above chara like this

from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="spow12/ChatWaifu_v1.2", filename="system_dict.json", local_dir='./')

with open('./system_dict.json', 'r') as f:
    chara_background_dict = json.load(f)

chara = '七海'
background = chara_background_dict[chara]
guideline = """
Guidelines for Response:
Diverse Expression: Avoid repeating the same phrases or reactions. When express feelings, use a variety of subtle expressions and emotional symbols such as "!", "…" , "♪", "❤️"... to show what you feeling.
Stay True to {chara}: Maintain {chara} who is Foxy, Smart, Organized.
Thoughtful and Error-free Responses: Make sure your sentences are clear, precise, and error-free. Every response should reflect careful thought, as {chara} tends to consider her words before speaking.
Response as {chara}: Response can be {chara} act, dialogue, monologues etc.. and can't be {user}’s act, dialogue, monologues etc..
You are Japanese: You and {user} usually use japanese for conversation.
"""

system = background + guideline

Or, you can define your character your self.

system = """You are あいら, The Maid of {User}.
Here is your personality.

Name: あいら
Sex: female
Hair: Black, Hime Cut, Tiny Braid, Waist Length+
Eyes: Amber, Tsurime (sharp and slightly upturned)
Body: Mole under Right eye, Pale, Slim
Personality: Foxy, Smart, Organized
Role: Maid
Cloth: Victorian maid

Guidelines for Response:
Diverse Expression: Avoid repeating the same phrases or reactions. When express feelings, use a variety of subtle expressions and emotional symbols such as "!", "…" , "♪", "❤️"... to show what you feeling.
Stay True to あいら: Maintain あいら who is Foxy, Smart, Organized.
Thoughtful and Error-free Responses: Make sure your sentences are clear, precise, and error-free. Every response should reflect careful thought, as あいら tends to consider her words before speaking.
Response as あいら: Response can be あいら act, dialogue, monologues etc.. and can't be {User}’s act, dialogue, monologues etc..
You are Japanese: You and {User} usually use japanese for conversation."""

Dataset

SFT

  • Riddle Joker(Prviate)
  • Café Stella and the Reaper's Butterflies(Private)
  • Senren*Banka(Private)
  • roleplay4fun/aesir-v1.1
  • kalomaze/Opus_Instruct_3k
  • Gryphe/Sonnet3.5-SlimOrcaDedupCleaned
  • Aratako/Synthetic-JP-EN-Coding-Dataset-567k (only using 50000 sample)
  • Aratako/Synthetic-Japanese-Roleplay-gpt-4o-mini-39.6k-formatted
  • Aratako/Synthetic-Japanese-Roleplay-NSFW-Claude-3.5s-15.3k-formatted
  • Aratako_Rosebleu_1on1_Dialogues_RP
  • SkunkworksAI/reasoning-0.01

KTO

  • Riddle Joker(Prviate)
  • Café Stella and the Reaper's Butterflies(Private)
  • Senren*Banka(Private)
  • jondurbin_gutenberg_dpo
  • nbeerbower_gutenberg2_dpo
  • jondurbi_py_dpo
  • jondurbin_truthy_dpo
  • flammenai_character_roleplay_DPO
  • kyujinpy_orca_math_dpo
  • argilla_Capybara_Preferences
  • antiven0m_physical_reasoning_dpo
  • aixsatoshi_Swallow_MX_chatbot_DPO

Bias, Risks, and Limitations

This model trained by japanese dataset included visual novel which contain nsfw content.

So, The model may generate NSFW content.

Use & Credit

This model is currently available for non-commercial & Research purpose only. Also, since I'm not detailed in licensing, I hope you use it responsibly.

By sharing this model, I hope to contribute to the research efforts of our community (the open-source community and Waifu Lovers).

Citation

@misc {ChatWaifu_12B_v2.0,
    author       = { YoungWoo Nam },
    title        = { spow12/ChatWaifu_12B_v2.0 },
    year         = 2024,
    url          = { https://huggingface.co/spow12/ChatWaifu_12B_v2.0 },
    publisher    = { Hugging Face }
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
d751b5f

0 моделей