Характеристики

Размер весов: 72,8 ГБ
Лицензия: Apache 2.0
Опубликована: 1 апр 2023

Ссылки

Hugging Face

rwkv-4-raven

BlinkDL

Генерация текстаТекст → текст7 профессий

Дообученная серия языковых моделей RWKV-4 для генерации текста, диалогов и кода, преимущественно на английском языке.

32 769скачиваний за 30 дней497лайковвеса обновлены30 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RWKV-4-Raven — серия языковых моделей BlinkDL, представляющая собой дообученные на диалоговых и инструкционных данных версии RWKV-4-Pile. В серии указаны варианты размером 1,5, 3, 7 и 14 млрд параметров; метаданные этого репозитория не уточняют размер конкретного чекпойнта. Архитектура RWKV описана как языковая модель на основе RNN, а репозиторий содержит веса PyTorch.

Модель предназначена для генерации текста и диалогов в формате реплик «Bob» и «Alice». Варианты серии ориентированы преимущественно на английский язык либо на сочетание английского с китайским и другими языками. При дообучении использовались Alpaca, CodeAlpaca, Guanaco, GPT4All и ShareGPT; это позволяет применять модель для ответов на инструкции, общения и генерации кода.

Модель лицензирована по Apache 2.0. README рекомендует использовать специальный формат промпта и избегать двойных переводов строки внутри реплик. Для серии указаны разные языковые пропорции, поэтому языковые возможности зависят от конкретного варианта; README рекомендует RWKV-4-World для более широкой поддержки языков.

Сценарии применения

ответы на инструкции на английском языке
ведение диалогов в формате реплик
генерация фрагментов кода
создание текстовых ответов и продолжений
эксперименты с компактными языковыми моделями на архитектуре RWKV

Ограничения

Поддержка языков зависит от варианта серии, а для диалога рекомендуется специальный формат промпта. README не приводит оценки качества или деталей размера конкретного чекпойнта.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RWKV-4 "Raven"-series Models

[UPDATE: Try RWKV-4-World (https://huggingface.co/BlinkDL/rwkv-4-world) for generation & chat & code in 100+ world languages, with great English zero-shot & in-context learning ability too.]

Model Description

These are RWKV-4-Pile 1.5/3/7/14B models finetuned on Alpaca, CodeAlpaca, Guanaco, GPT4All, ShareGPT and more. Even the 1.5B model is surprisingly good for its size.

Gradio Demo: https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B and https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradio

RWKV models inference: https://github.com/BlinkDL/ChatRWKV (fast CUDA).

Q8_0 models: only for https://github.com/saharNooby/rwkv.cpp (fast CPU).

See https://github.com/BlinkDL/RWKV-LM for details on the RWKV Language Model (100% RNN).

Best Prompt Format for Raven models, Bob is user, Alice is bot (NOTE: no space after final "Alice:"). You can use \n within xxxxxxxxxxx, but avoid \n\n.

Bob: xxxxxxxxxxxxxxxxxx\n\nAlice:
Bob: xxxxxxxxxxxxxxxxxx\n\nAlice: xxxxxxxxxxxxx\n\nBob: xxxxxxxxxxxxxxxx\n\nAlice:

New models will be named like Eng99%-Other1%, Eng86%-Chn10%-JpnEspKor2%-Other2%, etc. Language ratios determined by amount of ChatGPT data. Please share more ChatGPT data to increase the ratio of your language.

Old models:

RWKV-4-Raven-Eng : 99% English + 1% Multilang
RWKV-4-Raven-EngAndMore : 96% English + 2% Chn Jpn + 2% Multilang (More Jpn than v6 "EngChnJpn")
RWKV-4-Raven-ChnEng : 49% English + 50% Chinese + 1% Multilang

License: Apache 2.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: b3ff339