Англоязычная GPT-2-подобная модель, обученная с нуля на ограниченном корпусе BabyLM для исследований эффективности языкового моделирования при малом объёме данных.

Подходит для: эксперименты с предобучением на малых текстовых корпусах · изучение усвоения языка на детской и разговорной речи · оценка языковых способностей на тестах BabyLM

Экспериментальная англоязычная гибридная GPT-BERT-модель для исследований языкового обучения на малых корпусах и задач заполнения пропусков.

Подходит для: заполнение пропусков в английских предложениях · оценка грамматической приемлемости английских фраз · сравнение masked-LM и causal-LM обучения

Экспериментальная англоязычная GPT-BERT-модель для исследования влияния диалоговых данных и ограниченного бюджета обучения на языковое усвоение.

Подходит для: сравнение влияния диалоговых данных на усвоение языка · исследование эффективности обучения на корпусе до 10 млн слов · заполнение пропущенных слов в английском тексте