Базовая языковая MoE-модель, обученная с нуля для генерации и продолжения текста, а также экспериментов с предобучением.

Подходит для: продолжение текста на английском языке · оценка базовой языковой модели на тестах понимания и рассуждения · эксперименты с архитектурой Mixture-of-Experts