Экспериментальная архитектура языковой модели на 13,86 млрд параметров для исследований и предобучения генеративных моделей на A100; обученные веса не включены.

Подходит для: эксперименты с архитектурой языковой модели и CASS · предобучение генеративной модели на A100 · создание случайно инициализированного чекпойнта для дальнейшего обучения