Экспериментальная небольшая авторегрессионная модель Dynamic ALiBi для генерации продолжений текста.
Подходит для: эксперименты с генерацией текста на малых языковых моделях · сравнение вариантов Dynamic ALiBi в обучении языковых моделей · изучение чекпойнтов BabyLM по эпохам