Исследовательская Llama-модель с динамической маршрутизацией MoE для экспериментов и генерации текста.

Подходит для: эксперименты с динамической маршрутизацией экспертов в языковых моделях · генерация текстовых продолжений · оценка поведения архитектуры смеси экспертов на задачах разной сложности