/ Модель

Характеристики

Контекст
512 токенов
Параметры
55,3 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-sla

ПереводТекст → текст3 профессии

Модель OPUS-MT переводит английские тексты на ряд славянских языков, выбираемых специальным токеном целевого языка.

1 366скачиваний за 30 дней1лайквеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-sla — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит с английского на группу славянских языков: белорусский, боснийский, болгарский, кашубский, чешский, верхне- и нижнелужицкий, хорватский, македонский, польский, русинский, русский, сербский, словенский и украинский. Целевой язык задаётся специальным токеном в начале предложения в формате >>id<<.

Модель основана на архитектуре Transformer MarianMT, содержит 55,3 млн параметров и использует нормализацию и SentencePiece с размером словаря 32 тыс. токенов. Максимальная длина контекста — 512 токенов. Для использования доступны веса в форматах PyTorch и TensorFlow; лицензия — Apache-2.0.

Модель предназначена для перевода текстов общего назначения с английского на поддерживаемые славянские языки. В карточке приведены тестовые оценки BLEU и chr-F, однако качество может различаться между языками и тематиками; для некоторых языковых вариантов охват обучающих данных может быть ограничен.

Сценарии применения

  • перевод английских текстов на русский
  • перевод с английского на украинский
  • перевод английских фраз на польский и чешский
  • перевод английских материалов на сербский или болгарский
  • автоматический перевод коротких текстов на другие поддерживаемые славянские языки

Ограничения

Направление перевода только с английского на поддерживаемые славянские языки; целевой язык необходимо указать специальным токеном в начале предложения. Контекст ограничен 512 токенами, а качество зависит от целевого языка и тематики текста.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-sla

  • source group: English

  • target group: Slavic languages

  • OPUS readme: eng-sla

  • model: transformer

  • source language(s): eng

  • target language(s): bel bel_Latn bos_Latn bul bul_Latn ces csb_Latn dsb hrv hsb mkd orv_Cyrl pol rue rus slv srp_Cyrl srp_Latn ukr

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
newssyscomb2009-engces.eng.ces20.10.484
news-test2008-engces.eng.ces17.70.461
newstest2009-engces.eng.ces19.10.479
newstest2010-engces.eng.ces19.30.483
newstest2011-engces.eng.ces20.40.486
newstest2012-engces.eng.ces18.30.461
newstest2012-engrus.eng.rus27.40.551
newstest2013-engces.eng.ces21.50.489
newstest2013-engrus.eng.rus20.90.490
newstest2015-encs-engces.eng.ces21.10.496
newstest2015-enru-engrus.eng.rus24.50.536
newstest2016-encs-engces.eng.ces23.60.515
newstest2016-enru-engrus.eng.rus23.00.519
newstest2017-encs-engces.eng.ces19.20.474
newstest2017-enru-engrus.eng.rus25.00.541
newstest2018-encs-engces.eng.ces19.30.479
newstest2018-enru-engrus.eng.rus22.30.526
newstest2019-encs-engces.eng.ces20.40.486
newstest2019-enru-engrus.eng.rus24.00.506
Tatoeba-test.eng-bel.eng.bel22.90.489
Tatoeba-test.eng-bul.eng.bul46.70.652
Tatoeba-test.eng-ces.eng.ces42.70.624
Tatoeba-test.eng-csb.eng.csb1.40.210
Tatoeba-test.eng-dsb.eng.dsb1.40.165
Tatoeba-test.eng-hbs.eng.hbs40.30.616
Tatoeba-test.eng-hsb.eng.hsb14.30.344
Tatoeba-test.eng-mkd.eng.mkd44.10.635
Tatoeba-test.eng.multi41.00.610
Tatoeba-test.eng-orv.eng.orv0.30.014
Tatoeba-test.eng-pol.eng.pol42.00.637
Tatoeba-test.eng-rue.eng.rue0.30.012
Tatoeba-test.eng-rus.eng.rus40.50.612
Tatoeba-test.eng-slv.eng.slv18.80.357
Tatoeba-test.eng-ukr.eng.ukr38.80.600

System Info:

  • hf_name: eng-sla

  • source_languages: eng

  • target_languages: sla

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/eng-sla/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['en', 'be', 'hr', 'mk', 'cs', 'ru', 'pl', 'bg', 'uk', 'sl', 'sla']

  • src_constituents: {'eng'}

  • tgt_constituents: {'bel', 'hrv', 'orv_Cyrl', 'mkd', 'bel_Latn', 'srp_Latn', 'bul_Latn', 'ces', 'bos_Latn', 'csb_Latn', 'dsb', 'hsb', 'rus', 'srp_Cyrl', 'pol', 'rue', 'bul', 'ukr', 'slv'}

  • src_multilingual: False

  • tgt_multilingual: True

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-sla/opus2m-2020-08-01.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-sla/opus2m-2020-08-01.test.txt

  • src_alpha3: eng

  • tgt_alpha3: sla

  • short_pair: en-sla

  • chrF2_score: 0.61

  • bleu: 41.0

  • brevity_penalty: 0.976

  • ref_len: 64809.0

  • src_name: English

  • tgt_name: Slavic languages

  • train_date: 2020-08-01

  • src_alpha2: en

  • tgt_alpha2: sla

  • prefer_old: False

  • long_pair: eng-sla

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
0bc2691

0 моделей