/ Модель

Характеристики

Контекст
512 токенов
Параметры
54,2 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-gem

ПереводТекст → текст3 профессии

Модель OPUS-MT переводит текст с английского на широкий набор германских языков, включая немецкий, нидерландский и скандинавские языки.

140скачиваний за 30 дней2лайкавеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-gem — модель машинного перевода проекта OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с английского на германские языки, включая немецкий, нидерландский, шведский, датский, норвежский, исландский, африкаанс, фризский, люксембургский и идиш, а также исторические и региональные языки из перечня модели. Для выбора языка назначения перед текстом требуется указать языковой токен вида >>id<<.

Модель использует архитектуру Transformer в реализации MarianMT, содержит 54,2 млн параметров и обучена с нормализацией и токенизацией SentencePiece. Максимальная длина контекста — 512 токенов. Доступны веса в форматах PyTorch и TensorFlow. Репозиторий распространяется по лицензии Apache-2.0. Приведённые в карточке BLEU-оценки различаются по тестовым наборам и языковым парам; качество для редких, исторических и региональных языков может быть ограничено, а контекст ограничивает обработку длинных текстов.

Сценарии применения

  • перевод английских текстов на немецкий
  • перевод с английского на нидерландский или африкаанс
  • перевод английских текстов на датский, шведский или норвежский
  • перевод с английского на исландский, фризский или люксембургский
  • перевод коротких текстов на исторические и региональные германские языки

Ограничения

Для выбора целевого языка требуется предварительно добавить соответствующий токен вида >>id<<. Контекст ограничен 512 токенами; качество может различаться между языками и быть ниже для редких, исторических и региональных языков.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-gem

  • source group: English

  • target group: Germanic languages

  • OPUS readme: eng-gem

  • model: transformer

  • source language(s): eng

  • target language(s): afr ang_Latn dan deu enm_Latn fao frr fry gos got_Goth gsw isl ksh ltz nds nld nno nob nob_Hebr non_Latn pdc sco stq swe swg yid

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
newssyscomb2009-engdeu.eng.deu20.90.521
news-test2008-engdeu.eng.deu21.10.511
newstest2009-engdeu.eng.deu20.50.516
newstest2010-engdeu.eng.deu22.50.526
newstest2011-engdeu.eng.deu20.50.508
newstest2012-engdeu.eng.deu20.80.507
newstest2013-engdeu.eng.deu24.60.534
newstest2015-ende-engdeu.eng.deu27.90.569
newstest2016-ende-engdeu.eng.deu33.20.607
newstest2017-ende-engdeu.eng.deu26.50.560
newstest2018-ende-engdeu.eng.deu39.40.648
newstest2019-ende-engdeu.eng.deu35.00.613
Tatoeba-test.eng-afr.eng.afr56.50.745
Tatoeba-test.eng-ang.eng.ang6.70.154
Tatoeba-test.eng-dan.eng.dan58.00.726
Tatoeba-test.eng-deu.eng.deu40.30.615
Tatoeba-test.eng-enm.eng.enm1.40.215
Tatoeba-test.eng-fao.eng.fao7.20.304
Tatoeba-test.eng-frr.eng.frr5.50.159
Tatoeba-test.eng-fry.eng.fry19.40.433
Tatoeba-test.eng-gos.eng.gos1.00.182
Tatoeba-test.eng-got.eng.got0.30.012
Tatoeba-test.eng-gsw.eng.gsw0.90.130
Tatoeba-test.eng-isl.eng.isl23.40.505
Tatoeba-test.eng-ksh.eng.ksh1.10.141
Tatoeba-test.eng-ltz.eng.ltz20.30.379
Tatoeba-test.eng.multi46.50.641
Tatoeba-test.eng-nds.eng.nds20.60.458
Tatoeba-test.eng-nld.eng.nld53.40.702
Tatoeba-test.eng-non.eng.non0.60.166
Tatoeba-test.eng-nor.eng.nor50.30.679
Tatoeba-test.eng-pdc.eng.pdc3.90.189
Tatoeba-test.eng-sco.eng.sco33.00.542
Tatoeba-test.eng-stq.eng.stq2.30.274
Tatoeba-test.eng-swe.eng.swe57.90.719
Tatoeba-test.eng-swg.eng.swg1.20.171
Tatoeba-test.eng-yid.eng.yid7.20.304

System Info:

  • hf_name: eng-gem

  • source_languages: eng

  • target_languages: gem

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/eng-gem/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['en', 'da', 'sv', 'af', 'nn', 'fy', 'fo', 'de', 'nb', 'nl', 'is', 'lb', 'yi', 'gem']

  • src_constituents: {'eng'}

  • tgt_constituents: {'ksh', 'enm_Latn', 'got_Goth', 'stq', 'dan', 'swe', 'afr', 'pdc', 'gos', 'nno', 'fry', 'gsw', 'fao', 'deu', 'swg', 'sco', 'nob', 'nld', 'isl', 'eng', 'ltz', 'nob_Hebr', 'ang_Latn', 'frr', 'non_Latn', 'yid', 'nds'}

  • src_multilingual: False

  • tgt_multilingual: True

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-gem/opus2m-2020-08-01.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-gem/opus2m-2020-08-01.test.txt

  • src_alpha3: eng

  • tgt_alpha3: gem

  • short_pair: en-gem

  • chrF2_score: 0.6409999999999999

  • bleu: 46.5

  • brevity_penalty: 0.9790000000000001

  • ref_len: 73328.0

  • src_name: English

  • tgt_name: Germanic languages

  • train_date: 2020-08-01

  • src_alpha2: en

  • tgt_alpha2: gem

  • prefer_old: False

  • long_pair: eng-gem

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
98e9b0b

0 моделей