/ Модель

Характеристики

Контекст
512 токенов
Параметры
55,3 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-sla-en

ПереводТекст → текст5 профессий

Модель OPUS-MT переводит тексты с ряда славянских языков на английский.

1 844скачиваний за 30 дней2лайкавеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-sla-en — модель машинного перевода из проекта OPUS-MT, опубликованная Helsinki-NLP. Это плотная модель семейства Marian на архитектуре Transformer с 55,3 млн параметров. Она переводит текст с ряда славянских языков на английский: среди исходных языков указаны белорусский, боснийский, болгарский, кашубский, чешский, хорватский, македонский, польский, русский, русинский, сербский, силезский, словенский, верхне- и нижнелужицкий и украинский. Для токенизации используется SentencePiece с словарями spm32k; длина контекста — 512 токенов.

Модель подходит для перевода текстов со славянских языков на английский, включая обработку нескольких исходных языков одной моделью. В README приведены оценки BLEU и chr-F на тестовых наборах для чешского и ряда других языковых пар; результаты зависят от языка, жанра и качества текста. Модель доступна в форматах PyTorch и TensorFlow по лицензии Apache-2.0.

Сценарии применения

  • перевод с русского на английский
  • перевод с украинского на английский
  • перевод с польского и чешского на английский
  • перевод текстов с болгарского, сербского и хорватского на английский
  • машинный перевод славянских языков на английский в пакетной обработке

Ограничения

Модель поддерживает перевод только с перечисленных славянских языков на английский; обратное направление не заявлено. Контекст ограничен 512 токенами, а качество может различаться между языками и типами текстов.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

sla-eng

  • source group: Slavic languages

  • target group: English

  • OPUS readme: sla-eng

  • model: transformer

  • source language(s): bel bel_Latn bos_Latn bul bul_Latn ces csb_Latn dsb hrv hsb mkd orv_Cyrl pol rue rus slv srp_Cyrl srp_Latn ukr

  • target language(s): eng

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
newssyscomb2009-ceseng.ces.eng26.70.542
newstest2009-ceseng.ces.eng25.20.534
newstest2010-ceseng.ces.eng25.90.545
newstest2011-ceseng.ces.eng26.80.544
newstest2012-ceseng.ces.eng25.60.536
newstest2012-ruseng.rus.eng32.50.588
newstest2013-ceseng.ces.eng28.80.556
newstest2013-ruseng.rus.eng26.40.532
newstest2014-csen-ceseng.ces.eng31.40.591
newstest2014-ruen-ruseng.rus.eng29.60.576
newstest2015-encs-ceseng.ces.eng28.20.545
newstest2015-enru-ruseng.rus.eng28.10.551
newstest2016-encs-ceseng.ces.eng30.00.567
newstest2016-enru-ruseng.rus.eng27.40.548
newstest2017-encs-ceseng.ces.eng26.50.537
newstest2017-enru-ruseng.rus.eng31.00.574
newstest2018-encs-ceseng.ces.eng27.90.548
newstest2018-enru-ruseng.rus.eng26.80.545
newstest2019-ruen-ruseng.rus.eng29.10.562
Tatoeba-test.bel-eng.bel.eng42.50.609
Tatoeba-test.bul-eng.bul.eng55.40.697
Tatoeba-test.ces-eng.ces.eng53.10.688
Tatoeba-test.csb-eng.csb.eng23.10.446
Tatoeba-test.dsb-eng.dsb.eng31.10.467
Tatoeba-test.hbs-eng.hbs.eng56.10.702
Tatoeba-test.hsb-eng.hsb.eng46.20.597
Tatoeba-test.mkd-eng.mkd.eng54.50.680
Tatoeba-test.multi.eng53.20.683
Tatoeba-test.orv-eng.orv.eng12.10.292
Tatoeba-test.pol-eng.pol.eng51.10.671
Tatoeba-test.rue-eng.rue.eng19.60.389
Tatoeba-test.rus-eng.rus.eng54.10.686
Tatoeba-test.slv-eng.slv.eng43.40.610
Tatoeba-test.ukr-eng.ukr.eng53.80.685

System Info:

  • hf_name: sla-eng

  • source_languages: sla

  • target_languages: eng

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/sla-eng/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['be', 'hr', 'mk', 'cs', 'ru', 'pl', 'bg', 'uk', 'sl', 'sla', 'en']

  • src_constituents: {'bel', 'hrv', 'orv_Cyrl', 'mkd', 'bel_Latn', 'srp_Latn', 'bul_Latn', 'ces', 'bos_Latn', 'csb_Latn', 'dsb', 'hsb', 'rus', 'srp_Cyrl', 'pol', 'rue', 'bul', 'ukr', 'slv'}

  • tgt_constituents: {'eng'}

  • src_multilingual: True

  • tgt_multilingual: False

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/sla-eng/opus2m-2020-08-01.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/sla-eng/opus2m-2020-08-01.test.txt

  • src_alpha3: sla

  • tgt_alpha3: eng

  • short_pair: sla-en

  • chrF2_score: 0.6829999999999999

  • bleu: 53.2

  • brevity_penalty: 0.9740000000000001

  • ref_len: 70897.0

  • src_name: Slavic languages

  • tgt_name: English

  • train_date: 2020-08-01

  • src_alpha2: sla

  • tgt_alpha2: en

  • prefer_old: False

  • long_pair: sla-eng

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
90572be

0 моделей