bert-pretrained

Skratch99/bert-pretrained — англоязычная модель семейства BERT, предварительно обученная на обучающей выборке WikiText-2-raw-v1 с использованием архитектуры bert-base-uncased. В репозитории указана архитектура BertForMaskedLM и 136,7 млн параметров; модель принимает последовательность текста с замаскированными токенами и предсказывает вероятные подстановки. Контекст — до 512 токенов.

Модель подходит для восстановления пропусков в английском тексте и как чекпойнт для экспериментов с задачами понимания языка. Она использует библиотеку Transformers, веса сохранены в формате safetensors. Карточка не сообщает отдельную лицензию, поэтому условия использования по имеющимся данным определить нельзя. Предобучение только на WikiText-2 ограничивает разнообразие обучающих данных.