Англоязычная модель Google с архитектурой Switch Transformers и разреженным Mixture of Experts, предварительно обученная для последующей настройки на задачи преобразования текста.
Подходит для: дообучение модели для генерации текста по текстовому запросу · эксперименты с архитектурой Mixture of Experts · исследование переноса обучения с корпуса C4