Экспериментальная миниатюрная MoE-модель для исследований генерации текста и проверки архитектуры DeepSeek-V3 на простых математических данных.

Подходит для: эксперименты с миниатюрными MoE-архитектурами · изучение Multi-head Latent Attention на CPU · генерация текста на математических примерах GSM8K