Исследовательская базовая MoE-модель Pink Elephant для генерации текста и использования как основы для слияния моделей.
Подходит для: исследование разреженной архитектуры Mixture of Experts · эксперименты с маршрутизацией top-2 между экспертами · использование как основы для слияния моделей