BERT-модель оценивает качество грамматических исправлений без эталонного текста для анализа и сравнения систем GEC.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
IMPARA-QE — обученная модель для оценки качества автоматического исправления грамматики (GEC), разработанная gotutiyan. Она предсказывает качество исправленного текста без эталонного исправления и предназначена для оценки систем и результатов GEC. Модель основана на BERT и имеет 135,5 млн параметров; максимальная длина контекста — 512 токенов. В README указаны корреляции 95,93 по Пирсону и 93,01 по Спирмену для метрики Expected Wins из работы Grundkiewicz et al. (2015); при расчёте этой метрики использовалась модель оценки SE на базе bert-base-cased. Модель распространяется по лицензии MIT.
README приводит корреляции только для метрики Expected Wins и указанной настройки с SE-моделью bert-base-cased; обобщение на другие языки, наборы данных и сценарии не описано. Максимальная длина контекста составляет 512 токенов.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
A trained QE model for IMPARA, a reference-less performance measure for GEC task.
This model achieves 95.93 for Pearson's correlation and 93.01 for Spearman's, for Grundkiewicz +15's Expected Wins score (Note that bert-base-cased is used for SE model).
You can see the detail in this GitHub repository, e.g. How to use this model.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…