Экспериментальная MoE-языковая модель Zhouaz объёмом около 496 млн параметров для генерации английского текста и демонстрации архитектуры смеси экспертов.
Подходит для: эксперименты с пользовательской MoE-архитектурой · изучение маршрутизации top-2 между экспертами · тестирование генерации текста на английском языке