Небольшая модель DeepSeek-V4, обученная с нуля для экспериментов с архитектурой и генерации текста.
Подходит для: эксперименты с архитектурой DeepSeek-V4 · изучение маршрутизации экспертов MoE на малой модели · исследование гибридного внимания в языковых моделях