Англоязычная BERT-модель для предсказания пропущенных токенов в исторических текстах, качество которой автор оценивает как неудовлетворительное.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
dbmdz/bert-base-historic-english-cased — англоязычная модель семейства BERT для заполнения пропусков в тексте. Это плотная архитектура BertForMaskedLM примерно с 137,8 млн параметров и контекстом до 512 токенов. Модель обучена для работы с историческими английскими текстами; в карточке рекомендуется вместо неё использовать bigscience-historical-texts/bert-base-blbooks-cased, обученную на том же корпусе.
Модель принимает текст с маскированным токеном и предсказывает его вероятное заполнение. Она может служить для экспериментов с историческим английским и анализа лексики, но автор предупреждает, что предсказания работают плохо и часто возвращают токен [UNK]. Репозиторий содержит варианты весов Flax, PyTorch и safetensors. Лицензия — MIT.
Автор предупреждает, что модель работает неудовлетворительно и часто предсказывает [UNK]; рекомендуется использовать bigscience-historical-texts/bert-base-blbooks-cased. Контекст ограничен 512 токенами.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
🚨 Notice: After re-checking this model again, it seems that the model is not working very well. E.g. MLM predictions are very likely to predict [UNK] token, which is
actually not good.
We will update this model soon. For now, please use the bigscience-historical-texts/bert-base-blbooks-cased instead, as it was pretrained on the same corpus.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…