Экспериментальная разреженная MoE-модель на основе Qwen2.5-0.5B для продолжения текста с меньшими вычислениями MLP.

Подходит для: продолжение английской прозы · генерация текста для экспериментов с MoE · сравнение разреженной и плотной языковых моделей