Экспериментальная компактная языковая модель BananaMind с разреженным вниманием DSA для сравнения схем внимания и генерации текста.
Подходит для: сравнение разреженного DSA и стандартного внимания · воспроизведение контролируемого эксперимента по абляции внимания · изучение индексатора ключей и разреженного внимания в небольшой языковой модели