Небольшая англоязычная DeBERTa-v2 модель для предсказания замаскированных токенов и экспериментов BabyLM.

Подходит для: предсказание пропущенного слова в английском тексте · восстановление замаскированных токенов · эксперименты с языковыми моделями на ограниченных данных