Компактный англоязычный декодерный трансформер на 80 млн параметров для генерации текста и изучения устройства языковых моделей.

Подходит для: эксперименты с генерацией английского текста · изучение архитектуры декодерного трансформера · обучение работе с RoPE, RMSNorm и SwiGLU