Семейство моделей RWKV-4, дообученных на китайских романах и смеси китайского текста с The Pile для генерации и продолжения прозы.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
BlinkDL/rwkv-4-novel — семейство языковых моделей RWKV-4, дообученных на романах на основе RWKV-4-Pile. Автор указывает варианты с разным составом данных: ChnEng обучена на смеси китайского текста и The Pile, ChnEng-ChnPro дополнительно дообучена на качественных профессиональных китайских романах, а Chn — на китайских текстах.
Модель предназначена для генерации художественного текста и продолжения прозы. Архитектура RWKV сочетает языковую модель с рекуррентной обработкой; README характеризует её как «100% RNN». Карточка не приводит размер модели или длину контекста. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.
README описывает обучение преимущественно на китайских романах; качество для других языков и задач не охарактеризовано. Размер модели и длина контекста в предоставленных данных не приведены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
These are RWKV-4-Pile models finetuned on novels.
Currently I am doing it for Chn novels. More languages to come.
Use https://github.com/BlinkDL/ChatRWKV to run them.
See https://github.com/BlinkDL/RWKV-LM for details on the RWKV Language Model (100% RNN).
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
В репозитории нет config.json: не понять архитектуру модели.