/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
93,4 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
mixtral · MoE
Опубликована
9 янв 2024

Noromaid-v0.4-Mixtral-Instruct-8x7b-Zloss

Генерация текстаТекст → текст3 профессии

Экспериментальная дообученная модель Mixtral для ролевых диалогов, включая откровенные сценарии.

120скачиваний за 30 дней39лайковвеса обновлены9 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Noromaid-v0.4-Mixtral-Instruct-8x7b-Zloss — экспериментальная диалоговая модель для ролевых бесед, созданная IkariDev и Undi на основе Mixtral. Она дообучена на модифицированных наборах данных Aesir, LimaRP, ToxicQAFinal и No-robots-ShareGPT, а затем объединена с базовой моделью с уменьшенным весом дообучения. Модель принимает текст и генерирует текст, использует формат подсказок ChatML и поддерживает контекст длиной до 32 768 токенов. В репозитории представлены веса FP16 в формате Safetensors; авторы также упоминают вариант GGUF.

Модель рассчитана на ролевые диалоги, в том числе взрослые и откровенные сценарии. Авторы предупреждают, что это экспериментальная версия и не все функции могут работать корректно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Сценарии применения

  • ролевые диалоги с вымышленными персонажами
  • генерация ответов персонажа в текстовой ролевой игре
  • откровенные диалоги для взрослых

Ограничения

Авторы отмечают экспериментальный характер модели и предупреждают, что не всё может работать корректно. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png


Disclaimer:

This model is experimental, do not expect everything to work.

This model uses the Chatml prompting format


Beeg noromaid on steroids. Suitable for RP, ERP.

This model was trained on the Zloss fork of Charles, and should fix issue the model had.

Use Chatml prompt format, but not the special token.

The reason is that Axolotl merge the finetune with the base model at 1.0 weight basically, but this is too much, so I use another script available HERE to merge with less weight, sadly, it don't take the special Chatml token. It's like Orca2 for the matter.

Credits:

  • Undi
  • IkariDev

Description

This repo contains FP16 files of Noromaid-v0.4-Mixtral-Instruct-8x7b-Zloss.

FP16 - by IkariDev and Undi

GGUF - by IkariDev and Undi

Ratings:

Note: We have permission of all users to upload their ratings, we DONT screenshot random reviews without asking if we can put them here!

No ratings yet!

If you want your rating to be here, send us a message over on DC and we'll put up a screenshot of it here. DC name is "ikaridev" and "undi".

Prompt format: Chatml

<|im_start|>system
{sysprompt}<|im_end|>
<|im_start|>user
{input}<|im_end|>
<|im_start|>assistant
{output}<|im_end|>

Datasets used:

Others

Undi: If you want to support me, you can here.

IkariDev: Visit my retro/neocities style website please kek

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
MixtralForCausalLM
Ревизия весов
986aff2

0 моделей