Характеристики

Размер весов: 623 ГБ
Лицензия: Apache 2.0
Опубликована: 20 окт 2022

Ссылки

Hugging Face

rwkv-4-pile-14b

BlinkDL

Генерация текстаТекст → текст5 профессий

Англоязычная авторегрессионная модель RWKV-4 на 14 млрд параметров для генерации и продолжения текста.

15 142скачиваний за 30 дней171лайквеса обновлены15 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RWKV-4 14B — авторегрессионная языковая модель семейства RWKV, разработанная BlinkDL и обученная на корпусе The Pile. Версия содержит 14 млрд параметров; в карточке указана конфигурация из 40 слоёв и размерности скрытого представления 5120. Основная задача — генерация текста на английском языке, включая продолжение текста и ответы на инструкции в подходящем формате. В README также упомянута версия с длиной контекста 8192 токена и чат-вариант Raven, однако эти сведения не подтверждают, что данный репозиторий содержит именно Raven или вариант с таким контекстом.

Модель подходит для экспериментов и приложений, которым нужна англоязычная генерация текста, а также для оценки языковых моделей. README приводит результаты на Pile loss, LAMBADA, PIQA, Story Cloze, HellaSwag и WinoGrande. Указана лицензия Apache-2.0. Ограничения: модель обучена на английском корпусе The Pile, поэтому её не следует считать многоязычной; результаты и описание не гарантируют надёжность фактических ответов или пригодность кода для выполнения.

Сценарии применения

продолжение англоязычного текста
генерация ответов на текстовые инструкции
создание черновиков и примеров кода
оценка языковых моделей на задачах понимания текста

Ограничения

Модель обучена на английском корпусе The Pile, поэтому её не следует считать многоязычной. Сгенерированные ответы могут содержать ошибки и требуют проверки.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

I.2Синтез, понимание и проверка знаний

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RWKV-4 14B

[UPDATE: Try RWKV-4-World (https://huggingface.co/BlinkDL/rwkv-4-world) for generation & chat & code in 100+ world languages, with great English zero-shot & in-context learning ability too.]

Model Description

RWKV-4 14B is a L40-D5120 causal language model trained on the Pile. See https://github.com/BlinkDL/RWKV-LM for details.

args.n_layer = 40 args.n_embd = 5120

Use https://github.com/BlinkDL/ChatRWKV to run it.

RWKV-4-Pile-14B-2023xxxx-ctx8192-testxxx.pth : Fine-tuned to ctx_len 8192.

The best general model.

################################

"Raven": RWKV alpaca+vicuna-style model: https://huggingface.co/BlinkDL/rwkv-4-raven (highly recommended)

It is a strong chat model too. You can use +i for "Alpaca Instruct" in latest ChatRWKV v2. Examples:

+i Explain the following metaphor: "Life is like cats". 
+i write a python function to read data from an excel file.

################################

RWKV-4-Pile-14B-20230213-8019.pth : Trained on the Pile for 331B tokens

Pile loss 1.7579 (ctx_len 1024)
LAMBADA ppl 3.81, acc 71.05%
PIQA acc 77.42%
SC2016 acc 75.57%
Hellaswag acc_norm 70.24%
WinoGrande acc 62.98%

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 3307c7e