Характеристики

Лицензия: OpenRAIL
Опубликована: 3 сен 2023

Ссылки

aibuncho-japanese-novel-gpt-j-6b-gguf

Генерация текстаТекст → текст3 профессии

AIBunCho Japanese Novel GPT-J 6B — это конвертированная в формат GGUF версия модели japanese-novel-gpt-j-6b, опубликованной AI BunCho.

2 970скачиваний за 30 дней4лайкавеса обновлены11 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Конвертацию выполнил mmnga. Модель предназначена для генерации японского текста, в частности художественной прозы и диалогов, на основе заданного текстового приглашения. В README приведены примеры продолжения японских реплик и повествования с использованием llama.cpp.

Модель основана на архитектуре GPT-J и имеет размер около 6 млрд параметров. Она работает только с текстом и ориентирована на японский язык. Точный размер контекста и другие параметры обучения в README не указаны. GGUF-версия поддерживает запуск через экспериментальную ветку llama.cpp, включая выполнение на CPU и ускорение с использованием CUBLAS на совместимом GPU.

Основное преимущество модели — специализация на японской художественной генерации и возможность локального запуска через llama.cpp. Ограничение заключается в экспериментальном статусе конвертации: при появлении поддержки GPT-NeoX и GPT-2 в основной ветке llama.cpp данный GGUF-файл может стать несовместимым. Указанная лицензия — OpenRAIL.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

AIBunCho/japanese-novel-gpt-j-6b

AI BunChoさんが公開しているjapanese-novel-gpt-j-6bのgguf変換版です。

注意:こちらはブランチで試用になります。llama.cpp本家にgptneox, gpt2が実装された時に、このggufファイルが使用できない可能性があります。

GitHubリポジトリの readme はこちら

Usage (試用)

git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
cd llama.cpp
make -j
./main -m 'aibuncho-japanese-novel-gpt-j-6b-q4_0.gguf' -n 128 -p '犬「吾輩は猫である。」猫「'  --top_p 0.9 --temp 0.7 --repeat-penalty 1.1

CUBLAS

LLAMA_CUBLAS=1 make -j
./main -m 'aibuncho-japanese-novel-gpt-j-6b-q4_0.gguf' -n 128 -p '犬「吾輩は猫である。」猫「' -ngl 24

従来のCPU実行

git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
cd llama.cpp
make -j gptj
./gptj -m 'aibuncho-japanese-novel-gpt-j-6b-q4_0.gguf' -n 128 -p '犬「吾輩は猫なのか」' --top_p 0.9 --temp 0.7 --repeat-penalty 1.2  -eos '</s>' -sep '[SEP]'

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 52710d5