Исследовательский чекпойнт двунаправленного Transformer для изучения коллапса предсказания замаскированных токенов и адаптивной остановки.

Подходит для: изучение коллапса языковой модели к токену большинства · воспроизведение проверок на отложенной выборке · анализ адаптивной остановки при заполнении масок