ModujoMoE — базовая MoE-языковая модель для продолжения текста и дальнейших экспериментов с предобучением и настройкой.
Подходит для: продолжение короткого текста на португальском языке · эксперименты с дообучением языковой модели · исследование маршрутизации экспертов в MoE-моделях