Характеристики

Размер весов: 12,1 ГБ
Лицензия: Apache 2.0
Опубликована: 23 июн 2022

Ссылки

Hugging Face

rwkv-3-pile-1b5

BlinkDL

Генерация текстаТекст → текст3 профессии

Причинная языковая модель RWKV-3 на 1,5 млрд параметров для генерации и продолжения английского текста.

643скачиваний за 30 дней7лайковвеса обновлены14 сен 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RWKV-3 Pile 1.5B — причинная языковая модель семейства RWKV, разработанная BlinkDL и обученная на корпусе The Pile. Это языковая модель для продолжения текста и генерации ответов по текстовой подсказке. Архитектура имеет 24 слоя и размерность эмбеддингов 2048; заявленная длина контекста — 896 токенов. В карточке приведены результаты предварительных контрольных точек, обученных на 68 и 127 млрд токенов, по оценкам на Pile, LAMBADA, PIQA, SC2016 и HellaSwag.

Модель принимает и генерирует текст на английском языке. Для запуска автор указывает использовать код RWKV на GitHub. Карточка описывает предварительные контрольные точки и сообщает, что обучение продолжается, поэтому качество и поведение могут отличаться от итоговой версии. Лицензия — Apache 2.0.

Сценарии применения

продолжение текста по началу фразы
генерация английского текста по подсказке
создание черновиков и вариантов формулировок на английском
эксперименты с языковыми моделями на корпусе The Pile

Ограничения

Карточка описывает предварительные контрольные точки и отмечает, что обучение ещё продолжалось; заявленный контекст составляет 896 токенов. Для запуска автор указывает использовать код RWKV на GitHub.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RWKV-3 1.5B

Model Description

RWKV-3 1.5B is a L24-D2048 causal language model trained on the Pile. See https://github.com/BlinkDL/RWKV-LM for details.

RWKV-4 1.5B is out: https://huggingface.co/BlinkDL/rwkv-4-pile-1b5

At this moment you have to use my Github code (https://github.com/BlinkDL/RWKV-v2-RNN-Pile) to run it.

ctx_len = 896 n_layer = 24 n_embd = 2048

Preview checkpoint: RWKV-3-Pile-20220723-3542.pth : Trained on the Pile for 127B tokens.

Pile loss 2.102
LAMBADA ppl 7.52, acc 54.71%
PIQA acc 71.11%
SC2016 acc 67.24%
Hellaswag acc_norm 50.45%

Preview checkpoint: 20220708-1905.pth : Trained on the Pile for 68B tokens.

Pile loss 2.148
LAMBADA ppl 8.41, acc 53.17%
PIQA acc 69.64%
SC2016 acc 67.08%
Hellaswag acc_norm 48.20%

(I am still training it)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 71540ca