Экспериментальная восьмиэкспертная MoE-версия Phi-3-mini для обучения и исследований генерации текста.
Подходит для: исследование преобразования Phi-3 в архитектуру MoE · обучение маршрутизатора экспертов для языковой модели · эксперименты со слиянием моделей через mergekit