/ Модель

Характеристики

Контекст
514 токенов
Параметры
305 млн
Лицензия
MIT
Архитектура
xlm-roberta · dense
Опубликована
18 апр 2023

quality-estimation-huq-xlm-roberta-en-hu

Классификация текстаТекст → label3 профессии

Дообученная XLM-RoBERTa оценивает качество перевода с английского на венгерский по паре исходного и целевого предложений.

32скачиваний за 30 дней1лайквеса обновлены14 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

NYTK разработала модель для оценки качества перевода с английского на венгерский. Это дообученная на корпусе HuQ модель XLM-RoBERTa base с архитектурой XLMRobertaForSequenceClassification и примерно 305,2 млн параметров. Она принимает пару предложений в формате «исходное предложение на английском \ перевод на венгерском» и выдаёт оценку качества; задача представлена как регрессия, хотя в Hugging Face модель помечена для классификации текста. Максимальная длина последовательности в README — 256 токенов, а нативный контекст в метаданных — 514 токенов.

На корпусе HuQ модель показала корреляцию 0,7948, MAE 0,6451 и RMSE 0,8898 в 10-кратной перекрёстной проверке. Лицензия — MIT. Модель предназначена для оценки пар английских и венгерских предложений; результаты вне этой языковой пары и корпуса HuQ не описаны.

Сценарии применения

  • оценка качества англо-венгерского машинного перевода
  • ранжирование вариантов перевода с английского на венгерский
  • выявление переводов низкого качества в корпусе англо-венгерских текстов

Ограничения

Ограничение длины входа в README — 256 токенов. Модель ориентирована на пары предложений английский–венгерский; эффективность для других языков и доменов не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

English-Hungarian Qualtiy Estimation with finetuned XLM-RoBERTa model

For further models, scripts and details, see our demo site.

  • Pretrained model used: XLM-RoBERTa base
  • Finetuned on HuQ corpus
  • Labels: regression model
  • Separator: <sep>

Limitations

  • max_seq_length = 256
  • input format: {src_en_sentence} <sep> {tgt_hu_sentence}

Results

10-fold cross validation on HuQ corpus

ModelCorrelationMAERMSE
baseline0.61000.74590.9775
XLM-R0.79480.64510.8898

Citation

If you use this model, please cite the following paper:

@article{yang-rl,
    title = {Enhancing Machine Translation with Quality Estimation and Reinforcement Learning},
	journal = {Annales Mathematicae et Informaticae},
	year = {2023},
	author = {Yang, Zijian Győző and Laki, László János},
	pages = {Accepted}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForSequenceClassification
Ревизия весов
81a847d

0 моделей