Компактная англоязычная авторегрессионная модель на 37,8 млн параметров для учебных экспериментов с предобучением и генерацией текста.

Подходит для: изучение предобучения малых языковых моделей · эксперименты с архитектурой Transformer и grouped-query attention · учебная генерация коротких текстов на английском языке