Компактная гибридная GPT-BERT-модель NTUA для маскированного и авторегрессионного языкового моделирования в условиях конкурса BabyLM.

Подходит для: восстановление замаскированных слов в тексте · продолжение короткого текста · эксперименты с языковыми моделями на небольшом корпусе