Исходная модель повторена четыре раза для формирования архитектуры с четырьмя экспертами (Mixture of Experts, MoE). Модель предназначена главным образом для тестирования и экспериментов, а не для промышленного использования; потенциальный прикладной сценарий — генерация коротких сказок или историй.

Модель работает с текстом, однако сведения о поддерживаемых языках, точном размере контекста и других архитектурных параметрах в README не указаны. Вес маршрутизатора экспертов инициализируется случайным образом, что является важной особенностью экспериментальной конфигурации и может ограничивать предсказуемость результатов. Для модели также доступен LoRA-адаптер moe_shakespeare15M, обученный на первых 100 абзацах произведений Шекспира; он позволяет сместить генерацию в сторону стилизованного шекспировского текста.

Модель выпущена по лицензии MIT. README прямо предупреждает, что она не предназначена для production-использования, кроме специализированных сценариев вроде генератора историй перед сном.