Экспериментальная гибридная языковая модель Vibelet для исследований рекуррентных слоёв RWKV-7, разреженного внимания HiLS и поиска в контексте.
Подходит для: эксперименты с гибридными архитектурами языковых моделей · изучение разреженного внимания и поиска фрагмента в контексте · исследование поведения малых языковых моделей при обучении