Компактная англоязычная MoE-модель для генерации текста и экспериментов с предобучением при ограниченном бюджете данных.

Подходит для: генерация коротких текстов на английском языке · эксперименты с предобучением языковых моделей на малых корпусах · изучение маршрутизации экспертов в компактных MoE-моделях