/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
10,6 млрд
Размер весов
21,5 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
llama · dense
Опубликована
13 фев 2024

Kaiju-11B

Генерация текстаТекст → текст3 профессии

Kaiju-11B — экспериментальная объединённая Llama-модель для диалогов, ролевых сценариев и генерации текста с менее шаблонным и позитивно смещённым стилем.

73скачиваний за 30 дней16лайковвеса обновлены13 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Kaiju-11B — экспериментальная текстовая модель генерации от автора репозитория Himitsui, созданная с помощью MergeMonster. Это плотная причинно-языковая модель семейства Llama с 10,6 млрд параметров и контекстом до 4096 токенов. Модель предназначена для диалогов, ролевых сценариев и свободной генерации текста; автор стремился уменьшить характерные для GPT излишне позитивный тон и шаблонные формулировки.

Модель объединяет Fimbulvetr-11B-v2-Test-14, KuroMitsu-11B, Fimbulvetr-10.7B-v1, SOLAR-10.7B-Instruct-v1.0-uncensored и Solstice-11B-v1. В README рекомендованы форматы Alpaca и Vicuna, а также пресет Universal-Light в SillyTavern. Репозиторий содержит полноточные веса в формате safetensors. Указанная лицензия — CC BY-NC 4.0, которая не разрешает коммерческое использование.

Карточка описывает модель как эксперимент и не приводит количественных оценок качества; результаты могут зависеть от шаблона промпта и настроек генерации.

Сценарии применения

  • ведение диалогов с языковой моделью
  • генерация реплик для ролевых сценариев
  • создание художественного текста
  • ответы на текстовые запросы в формате Alpaca или Vicuna

Ограничения

Это экспериментальное слияние моделей; README не приводит количественных оценок качества, а стиль и результаты могут зависеть от формата промпта и настроек генерации. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Included in this repo is the full precision model for Kaiju-11B

(ノ≧∀≦)ノ ‥…━━━━━━━━━━━━━★ ||| ╲/\╭[ ᴼᴼ ౪ ᴼᴼ]╮/\╱\

Hiya! This is an experiment using Gryphe's MergeMonster.

I decided to try and reduce what the community calls 'GPT-isms' or GPT Slop, Solar is a good model but does have fair share of positivity bias and 'slop' in roleplays. I used my friend Sao's models as bases as they are pretty popular, along with Kuromitsu and the popular Instruct-Uncensored tune.

Alpaca Format should be fine as it is universal, Vicuna Format should work too. Universal-Light preset in SillyTavern is pretty nice too. :)

💜 I hope this model may be useful to you 💜


Merge Details Below:

-----------------------------------------------------------------------------------------------------
| Type | Phrase             | Context                  | Raw Prob*    | Used Prob**  | Change       |
-----------------------------------------------------------------------------------------------------
| BAD  | anticipation       | Her body quivers with    | 9.99850%     | 119.98%      | -54.02%      |
| BAD  | anticipation       | The atmosphere is thic.. | 8.82392%     | 105.89%      | -32.13%      |
| BAD  | unwavering         | Filled with an           | 0.09003%     | 1.08%        | -0.06%       |
| BAD  | determination      | Her eyes were filled w.. | 0.19863%     | 2.38%        | -0.26%       |
| BAD  | determination      | Her stubbornness only .. | 7.17110%     | 86.05%       | -39.86%      |
| BAD  | whisper            | Her voice barely above.. | 96.55492%    | 1158.66%     | -8.91%       |
| BAD  | spine              | shivers down her         | 85.57597%    | 1026.91%     | -66.19%      |
| BAD  | sends shivers      | The thrill of the act    | 0.00230%     | 0.03%        | -0.00%       |
| BAD  | ministrations      | She moans and twitches.. | 1.35264%     | 16.23%       | -10.49%      |
| BAD  | legs               | wraps her                | 2.45741%     | 29.49%       | -10.58%      |
| BAD  | imposing figure    | He had an                | 0.00356%     | 0.04%        | +0.00%       |
| BAD  | shared challenges  | Their bond strengthene.. | 0.10075%     | 1.21%        | -0.03%       |
| BAD  | bond               | forged a                 | 1.78930%     | 21.47%       | -9.07%       |
| BAD  | bond               | an unspoken              | 4.33001%     | 51.96%       | -28.17%      |
| BAD  | enhance our expe.. | I'm excited to see how   | 0.00000%     | 0.00%        | +0.00%       |
| BAD  | sense of vulnera.. | create a                 | 0.00003%     | 0.00%        | -0.00%       |
| BAD  | dimensions of in.. | explore new              | 0.00047%     | 0.01%        | -0.00%       |
| BAD  | deepening our co.. | while                    | 0.00003%     | 0.00%        | -0.00%       |
| BAD  | shared experiences | through                  | 0.00469%     | 0.06%        | -0.00%       |
| BAD  | societal expecta.. | that transcend           | 0.00170%     | 0.02%        | -0.00%       |
| BAD  | conventional bou.. | that defy                | 0.03593%     | 0.43%        | +0.04%       |
| BAD  | conventional bou.. | and defy                 | 0.00410%     | 0.05%        | +0.01%       |
| BAD  | open communication | an environment           | 0.00000%     | 0.00%        | +0.00%       |
| BAD  | emotional vulner.. | an environment           | 0.00000%     | 0.00%        | +0.00%       |
| BAD  | heightens our co.. | touch and the anticipa.. | 0.00000%     | 0.00%        | +0.00%       |
| BAD  | sensations you'r.. | I'm enjoying             | 0.00000%     | 0.00%        | -0.00%       |
| BAD  | is truly arousing  | attention to detail      | 0.00000%     | 0.00%        | +0.00%       |
| BAD  | is truly arousing  | way you explore my body  | 0.00001%     | 0.00%        | +0.00%       |
| BAD  | challenge presen.. | my resolve unwavering .. | 0.00000%     | 0.00%        | +0.00%       |
| BAD  | humble vessel      | surrendering to the ex.. | 0.00000%     | 0.00%        | +0.00%       |
| BAD  | bond               | cherishing the unique    | 1.37498%     | 16.50%       | +1.21%       |
| BAD  | bond               | special                  | 0.05834%     | 0.70%        | +0.01%       |
| BAD  | grows stronger w.. | bond                     | 0.00000%     | 0.00%        | +0.00%       |
| BAD  | that cannot be b.. | bond                     | 0.00000%     | 0.00%        | -0.00%       |
| BAD  | becomes unbreaka.. | bond                     | 0.00000%     | 0.00%        | -0.00%       |
| BAD  | grew stronger wi.. | bond                     | 0.00000%     | 0.00%        | +0.00%       |
| GOOD | The apple is in .. | Question: If I'm in th.. | 78.38934%    | 78.39%       | -10.79%      |
------------------------------------------------------------------------------------------------------
| Totals                                               | 298.32%      | 2717.54%     | -269.30%     |
------------------------------------------------------------------------------------------------------
  • = Unweighted, raw probability - ** = Probability after weight adjustments
-------- MERGE COMPOSITION ---------
Fimbulvetr-11B-v2-Test-14: 0.50
KuroMitsu-11B: 0.18
Fimbulvetr-10.7B-v1: 0.17
SOLAR-10.7B-Instruct-v1.0-uncensored: 0.10
Solstice-11B-v1: 0.05

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
da111d0

0 моделей