Tural/language-modeling-from-scratch-ml — языковая модель на архитектуре BERT, обученная с нуля; разработчик указывает, что для обучения использовался набор данных None. Модель содержит 136,7 млн параметров, принимает последовательности длиной до 512 токенов и распространяется в формате PyTorch.

Модель предназначена для задачи fill-mask: она предсказывает пропущенный токен в тексте, используя окружающий контекст. README не описывает целевые сценарии, обучающие данные или результаты оценки, поэтому применимость за пределами этой задачи не подтверждена. Лицензия в предоставленных данных не указана.