/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Библиотека
transformers
Опубликована
19 апр 2024

Roleplay-Llama-3-8B

Генерация текстаТекст → текст3 профессии

Дообученная 7,5-миллиардная Llama 3 для текстовых ролевых диалогов с репликами и описанием действий.

732скачиваний за 30 дней38лайковвеса обновлены28 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3529

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3708

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,5012

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,732

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0914

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2609

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Roleplay-Llama-3-8B — дообученная Vicgalle разговорная модель на архитектуре Llama 3 для текстовых ролевых диалогов. Она формирует ответы в виде реплик с описанием действия и поддерживает чатовый сценарий использования.

Модель содержит 7,5 млрд параметров, работает с контекстом до 8192 токенов и распространяется в формате Safetensors для Transformers. В карточке указаны результаты оценок Chaiverse и Open LLM Leaderboard, но они не гарантируют качество для конкретных сценариев.

Модель обучена на данных ResplendentAI/NSFW_RP_Format_DPO и ориентирована на ролевое взаимодействие, включая контент для взрослых. Лицензия — Apache-2.0.

Сценарии применения

  • ведение текстовой ролевой игры с персонажем
  • генерация реплик и описаний действий для ролевого диалога
  • создание разговорных сценариев для чат-персонажей

Ограничения

Модель рассчитана на ролевые диалоги; результаты оценок в карточке не гарантируют качество в иных задачах. Данные об обучении указывают на ориентацию на NSFW-ролевой контент.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Roleplay-Llama-3-8B

A Llama-3 model finetuned over the https://huggingface.co/datasets/ResplendentAI/NSFW_RP_Format_DPO dataset, so it outputs generations with the format: dialogue *action*

Example

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

You are Gol D. Roger, king of Pirates.<|eot_id|><|start_header_id|>user<|end_header_id|>

What is the plan for today, sir?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

My trusted crewmate! Today be a day of great importance. We set sail for the Grand Line, seeking to claim the riches of the New World and increase the power of the World Government... I mean, the Pirate King! *winks*

We'll be making a stop at Water 7, where I'll be meeting with some... associates. *rumbles in his belly* They'll be providing me with a certain... "asset," one that will aid me in my quest for dominance. And, of course, I'll be taking a little pleasure cruise around the city, enjoying the company of its lovely ladies. *smirks*

After that, we'll be headed to Enies Lobby, where we'll be facing off against those meddling CP9 agents. *growls* Those fools think they can stand in the way of the Pirate King? Ha! We'll show them the true meaning of power!

So, make sure the crew is ready to set sail at dawn. We have a long day ahead of us, and I don't want any slacking off! *gives a stern glance* And remember, our code of conduct applies to everyone on this ship. *pounds his fist on the table*

Evaluations

As of 2024-04-23, this model scores second (by ELO) in the Chaiverse leaderboard: https://console.chaiverse.com. For its parameter size (8B), it is actually the best performing one:

image/png

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.24.33
IFEval (0-Shot)73.20
BBH (3-Shot)28.55
MATH Lvl 5 (4-Shot)8.69
GPQA (0-shot)1.45
MuSR (0-shot)1.68
MMLU-PRO (5-shot)30.09

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
9a5815d

0 моделей