/ Модель

Характеристики

Контекст
512 токенов
Параметры
55,3 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-fiu

ПереводТекст → текст3 профессии

Модель OPUS-MT переводит текст с английского на финно-угорские языки, выбранные специальным токеном целевого языка.

98скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-fiu — модель машинного перевода проекта OPUS-MT, построенная на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с английского на финно-угорские языки: финский, эстонский, венгерский, северносаамский и другие. Для выбора целевого языка перед текстом требуется указать специальный токен вида `>>id<<` с допустимым кодом языка.

Модель содержит 55,3 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов; длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow. В README приведены оценки BLEU и chr-F для тестов перевода на финский, эстонский и венгерский. Лицензия — Apache-2.0.

Сценарии применения

  • перевод с английского на финский
  • перевод с английского на эстонский
  • перевод с английского на венгерский
  • перевод с английского на саамские языки
  • перевод с английского на другие финно-угорские языки

Ограничения

Перевод поддерживается только с английского на перечисленные целевые языки; для задания целевого языка необходим токен `>>id<<`. Контекст ограничен 512 токенами, а приведённые в README тестовые оценки относятся лишь к отдельным языковым парам.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-fiu

  • source group: English

  • target group: Finno-Ugrian languages

  • OPUS readme: eng-fiu

  • model: transformer

  • source language(s): eng

  • target language(s): est fin fkv_Latn hun izh kpv krl liv_Latn mdf mhr myv sma sme udm vro

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
newsdev2015-enfi-engfin.eng.fin18.70.522
newsdev2018-enet-engest.eng.est19.40.521
newssyscomb2009-enghun.eng.hun15.50.472
newstest2009-enghun.eng.hun15.40.468
newstest2015-enfi-engfin.eng.fin19.90.532
newstest2016-enfi-engfin.eng.fin21.10.544
newstest2017-enfi-engfin.eng.fin23.80.567
newstest2018-enet-engest.eng.est20.40.532
newstest2018-enfi-engfin.eng.fin15.60.498
newstest2019-enfi-engfin.eng.fin20.00.520
newstestB2016-enfi-engfin.eng.fin17.00.512
newstestB2017-enfi-engfin.eng.fin19.70.531
Tatoeba-test.eng-chm.eng.chm0.90.115
Tatoeba-test.eng-est.eng.est49.80.689
Tatoeba-test.eng-fin.eng.fin34.70.597
Tatoeba-test.eng-fkv.eng.fkv1.30.187
Tatoeba-test.eng-hun.eng.hun35.20.589
Tatoeba-test.eng-izh.eng.izh6.00.163
Tatoeba-test.eng-kom.eng.kom3.40.012
Tatoeba-test.eng-krl.eng.krl6.40.202
Tatoeba-test.eng-liv.eng.liv1.60.102
Tatoeba-test.eng-mdf.eng.mdf3.70.008
Tatoeba-test.eng.multi35.40.590
Tatoeba-test.eng-myv.eng.myv1.40.014
Tatoeba-test.eng-sma.eng.sma2.60.097
Tatoeba-test.eng-sme.eng.sme7.30.221
Tatoeba-test.eng-udm.eng.udm1.40.079

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
6f39c23

0 моделей