Характеристики

Контекст: 2 048 токенов
Размер весов: 12,1 ГБ
Архитектура: gptj · dense
Опубликована: 2 сен 2023

Ссылки

Hugging Face

japanese-novel-gpt-j-6b-f16-marisa

tsukemono

Генерация текстаТекст → текст3 профессии

Дообученная GPT-J-модель для текстового ролевого общения на японском языке с Кирисамэ Марисой из Touhou Project.

126скачиваний за 30 дней3лайкавеса обновлены6 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель tsukemono/japanese-novel-gpt-j-6b-f16-marisa — дообученная версия japanese-novel-gpt-j-6b для диалога от лица Кирисамэ Марисы, персонажа Touhou Project. Это плотная авторегрессионная GPT-J-модель с 6 млрд параметров; она принимает текстовый промпт в формате «ユーザー: …[SEP]魔理沙: » и генерирует продолжение диалога на японском языке. Модель предназначена для ролевого общения и любительских бесед с персонажем.

Репозиторий содержит веса PyTorch в формате f16; для запуска в README приведён пример через Google Colab. Контекст — до 2048 токенов. Это фанатская производная модель по Touhou Project; README просит соблюдать ограничения использования OpenRAIL. Лицензия в предоставленных данных не указана.

Сценарии применения

диалог на японском языке от лица Кирисамэ Марисы
ролевая беседа с персонажем Touhou Project
генерация реплик персонажа по текстовому промпту

Ограничения

Контекст ограничен 2048 токенами. Модель настроена на японское ролевое общение с одним персонажем, поэтому её ответы для других сценариев могут быть менее подходящими.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

モデルの概略

東方Projectのキャラクターである霧雨魔理沙とおしゃべりできるモデルです。 japanese-novel-gpt-j-6bをファインチューニングしたモデルになります

使い方

推論のさせかたの一例をGoogleColabに記しましたので参考にしていただけると幸いです。｢ユーザー: hogehoge[SEP]魔理沙: ｣といったプロンプトを与えてあげることで、魔理沙とおしゃべりができるようになります。

備考

これは東方Projectの二次創作です。このファイルを用いて、openrailが使用を制限しているような行為を行うことは、控えてください。

library_name: peft

Training procedure

The following bitsandbytes quantization config was used during training:

quant_method: bitsandbytes
load_in_8bit: False
load_in_4bit: True
llm_int8_threshold: 6.0
llm_int8_skip_modules: None
llm_int8_enable_fp32_cpu_offload: False
llm_int8_has_fp16_weight: False
bnb_4bit_quant_type: nf4
bnb_4bit_use_double_quant: True
bnb_4bit_compute_dtype: bfloat16

Framework versions

PEFT 0.6.0.dev0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: GPTJForCausalLM
Ревизия весов: 1d37fe6