Небольшой обученный с нуля Transformer для учебных экспериментов и генерации коротких историй в стиле TinyStories.

Подходит для: изучение работы токенизатора BPE на небольшом языковом чекпойнте · эксперименты с обучением и оптимизацией decoder-only Transformer · практика сохранения и загрузки чекпойнтов в Transformers