Компактная гибридная языковая модель, обученная с нуля для генерации текста и демонстрации полного цикла обучения при жёстком ограничении размера.

Подходит для: эксперименты с обучением компактных языковых моделей · исследование сочетания Mamba, attention и смеси экспертов · демонстрация полного конвейера обучения и оценки модели