/ Модель

Характеристики

Контекст
512 токенов
Параметры
55,3 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-fiu-en

ПереводТекст → текст3 профессии

Модель OPUS-MT переводит тексты с финно-угорских языков, включая финский, эстонский и венгерский, на английский.

85скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-fiu-en — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMT. Она переводит тексты с финно-угорских языков на английский. В исходную группу входят эстонский, финский, венгерский, коми-зырянский, карельский, саамские и другие языки; для обработки текста применяются нормализация и SentencePiece с словарями размером 32 тыс. токенов. Модель содержит 55,3 млн параметров, её нативный контекст — 512 токенов.

Модель предназначена для перевода отдельных текстов и многоязычных корпусов с языков группы Finno-Ugric на английский. В карточке приведены оценки BLEU и chr-F для тестовых наборов новостей на финском, эстонском и венгерском. Модель распространяется под лицензией Apache-2.0. Ограничения: направление перевода только на английский, а качество для отдельных языков может различаться; указанные тестовые оценки относятся к конкретным тестовым наборам.

Сценарии применения

  • перевод финских текстов на английский
  • перевод эстонских новостей на английский
  • перевод венгерских текстов на английский
  • перевод материалов на английский с саамских языков
  • машинный перевод многоязычных корпусов финно-угорских языков

Ограничения

Модель выполняет перевод только на английский, а качество может различаться между поддерживаемыми языками. Контекст ограничен 512 токенами; приведённые оценки относятся к указанным тестовым наборам.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

fiu-eng

  • source group: Finno-Ugrian languages

  • target group: English

  • OPUS readme: fiu-eng

  • model: transformer

  • source language(s): est fin fkv_Latn hun izh kpv krl liv_Latn mdf mhr myv sma sme udm vro

  • target language(s): eng

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • download original weights: opus2m-2020-07-31.zip

  • test set translations: opus2m-2020-07-31.test.txt

  • test set scores: opus2m-2020-07-31.eval.txt

Benchmarks

testsetBLEUchr-F
newsdev2015-enfi-fineng.fin.eng22.90.513
newsdev2018-enet-esteng.est.eng26.30.543
newssyscomb2009-huneng.hun.eng21.20.494
newstest2009-huneng.hun.eng19.80.486
newstest2015-enfi-fineng.fin.eng24.10.521
newstest2016-enfi-fineng.fin.eng25.60.541
newstest2017-enfi-fineng.fin.eng28.70.560
newstest2018-enet-esteng.est.eng26.50.549
newstest2018-enfi-fineng.fin.eng21.20.490
newstest2019-fien-fineng.fin.eng25.60.533
newstestB2016-enfi-fineng.fin.eng21.60.500
newstestB2017-enfi-fineng.fin.eng24.30.526
newstestB2017-fien-fineng.fin.eng24.30.526
Tatoeba-test.chm-eng.chm.eng1.20.163
Tatoeba-test.est-eng.est.eng55.30.706
Tatoeba-test.fin-eng.fin.eng48.70.660
Tatoeba-test.fkv-eng.fkv.eng11.50.384
Tatoeba-test.hun-eng.hun.eng46.70.638
Tatoeba-test.izh-eng.izh.eng48.30.678
Tatoeba-test.kom-eng.kom.eng0.70.113
Tatoeba-test.krl-eng.krl.eng36.10.485
Tatoeba-test.liv-eng.liv.eng2.10.086
Tatoeba-test.mdf-eng.mdf.eng0.90.120
Tatoeba-test.multi.eng47.80.648
Tatoeba-test.myv-eng.myv.eng0.70.121
Tatoeba-test.sma-eng.sma.eng1.70.101
Tatoeba-test.sme-eng.sme.eng7.80.229
Tatoeba-test.udm-eng.udm.eng0.90.166

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
67d5206

0 моделей