Характеристики

Размер весов: 1,4 ГБ
Лицензия: Apache 2.0
Опубликована: 6 июл 2022

Ссылки

Hugging Face

rwkv-3-pile-169m

BlinkDL

Генерация текстаТекст → текст3 профессии

Небольшая англоязычная авторегрессионная модель RWKV-3 для продолжения и генерации текста.

723скачиваний за 30 дней6лайковвеса обновлены14 сен 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RWKV-3 Pile 169M — авторегрессионная языковая модель BlinkDL на архитектуре RWKV-3, обученная на корпусе The Pile. Модель содержит 12 слоёв с размерностью эмбеддингов 768 и рассчитана на контекст до 768 токенов.

Модель предназначена для продолжения текста и генерации на английском языке. Финальный чекпойнт обучен на 328 млрд токенов; в карточке также приведены результаты на Pile, LAMBADA, PIQA и HellaSwag. Для запуска автор указывает использовать свой код на GitHub.

Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0. Карточка не описывает специализированную предметную область или разговорную настройку; генерация может быть непоследовательной и унаследовать ограничения и смещения обучающего корпуса.

Сценарии применения

продолжение английского текста
генерация коротких текстовых фрагментов
эксперименты с архитектурой RWKV
оценка языковых моделей на задачах LAMBADA, PIQA и HellaSwag

Ограничения

Контекст ограничен 768 токенами; карточка не заявляет чат-настройку или специализированные прикладные возможности. Приведённые оценки относятся к конкретным тестам и не гарантируют качество в других сценариях.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RWKV-3 169M

Model Description

RWKV-3 169M is a L12-D768 causal language model trained on the Pile. See https://github.com/BlinkDL/RWKV-LM for details.

At this moment you have to use my Github code (https://github.com/BlinkDL/RWKV-v2-RNN-Pile) to run it.

ctx_len = 768 n_layer = 12 n_embd = 768

Final checkpoint: RWKV-3-Pile-20220720-10704.pth : Trained on the Pile for 328B tokens.

Pile loss 2.5596
LAMBADA ppl 28.82, acc 32.33%
PIQA acc 64.15%
SC2016 acc 57.88%
Hellaswag acc_norm 32.45%

Preview checkpoint: 20220703-1652.pth : Trained on the Pile for 50B tokens. Pile loss 2.6375, LAMBADA ppl 33.30, acc 31.24%.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: f9a6dde