Историческая языковая модель на основе BERT для анализа нидерландских текстов и снятия лексической неоднозначности.
183скачиваний за 30 дней5лайковвеса обновлены28 ноя 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
GysBERT v1 — историческая языковая модель для нидерландского языка из проекта MacBERTh. Она разработана на основе BERT base uncased и содержит 136,7 млн параметров; модель опубликована в формате PyTorch, принимает текст с контекстом до 512 токенов. Предобучение выполнено преимущественно на материалах DBNL и архиве газет Delpher.
Модель предназначена для работы с историческим нидерландским текстом и успешно проверялась на задачах снятия лексической неоднозначности (Word Sense Disambiguation), в том числе в рамках исследования о снятии неоднозначности слов в исторических языках. Карточка не описывает другие подтверждённые задачи или обновлённый вариант модели.
Лицензия — MIT. Результаты проверки указаны для задач из публикации; качество на иных корпусах и современных текстах README не характеризует.
Сценарии применения
снятие лексической неоднозначности в исторических нидерландских текстах
анализ значений слов в исторических газетах
эксперименты с обработкой исторического нидерландского языка
Ограничения
Успешная проверка описана для задач снятия лексической неоднозначности из упомянутой публикации; переносимость на другие корпуса и современный нидерландский не охарактеризована. Контекст ограничен 512 токенами.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This model is a Historical Language Model for Dutch coming from the MacBERTh project.
The architecture is based on BERT base uncased from the original BERT pre-training codebase.
The training material comes mostly from the DBNL and the Delpher newspaper dump.
The details can be found in the accompanying publication: Non-Parametric Word Sense Disambiguation for Historical Languages
The model has been successfully tested on Word Sense Disambiguation tasks as discussed in the referenced paper above.
An updated version with an enlarged pre-training dataset is due soon.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров