Небольшая авторегрессионная модель RWKV-4 для англоязычной генерации текста и исследований динамики обучения.
Подходит для: эксперименты с динамикой обучения языковых моделей · сравнение RWKV с Pythia и Mamba при одинаковых данных и шагах обучения · генерация продолжений англоязычного текста