Небольшая англоязычная инструктивная MoE-модель на 250 млн параметров для генерации ответов и экспериментов с архитектурами внимания.

Подходит для: генерация ответов на инструкции на английском языке · создание простого диалогового прототипа · изучение маршрутизации экспертов в малой MoE-модели