Экспериментальная базовая MoE-модель на 1 млрд параметров для продолжения текста и исследований языкового моделирования.

Подходит для: продолжение короткого текстового фрагмента · эксперименты с базовыми языковыми моделями MoE · оценка архитектуры с чередованием Gated DeltaNet и плотного внимания

diffusers: формат, квантизация, runtime и память принадлежат одному artifact