Экспериментальная компактная языковая модель с повторным использованием трансформерного блока для генерации текста и исследований архитектуры Universal Transformer и оптимизатора Muon.

Подходит для: эксперименты с архитектурой Universal Transformer · изучение применения оптимизатора Muon к языковым моделям · генерация коротких текстовых продолжений на английском языке