RRT-355M — экспериментальная модель генерации текста, обученная с нуля для проверки механизма внимания без softmax.

Подходит для: исследование альтернативных механизмов внимания в языковых моделях · сравнение генерации текста с GPT-2 сопоставимого размера · оценка внутриконтекстного обучения на бенчмарках из 22 задач