Компактная базовая языковая модель, обученная на одном CPU-ядре и предназначенная для экспериментов и дальнейшего дообучения.
Подходит для: эксперименты с обучением языковых моделей на CPU · дообучение компактной авторегрессионной модели · исследование сочетания линейного и скользящего оконного внимания