/ Модель

Характеристики

Контекст
512 токенов
Параметры
56,4 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-ine-en

ПереводТекст → текст3 профессии

Многоязычная модель Helsinki-NLP переводит тексты с индоевропейских языков на английский.

232скачиваний за 30 дней2лайкавеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-ine-en — модель машинного перевода из серии OPUS-MT, созданной Helsinki-NLP. Она переводит с множества индоевропейских языков на английский; в карточке перечислены десятки исходных языков, включая французский, немецкий, испанский, русский, хинди и польский. Архитектура — Transformer на базе MarianMT, размер — 56,4 млн параметров, контекст — до 512 токенов. Модель использует нормализацию и SentencePiece с словарями по 32 тыс. токенов.

Модель предназначена для перевода отдельных текстов и фраз на английский. В README приведены результаты на тестовых наборах для нескольких языковых пар; качество зависит от исходного языка и тематики текста. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache 2.0.

Сценарии применения

  • перевод с русского на английский
  • перевод с французского, немецкого или испанского на английский
  • перевод текстов на английский с малоресурсных индоевропейских языков

Ограничения

Перевод выполняется только в направлении с индоевропейских языков на английский; контекст ограничен 512 токенами. Результаты в README различаются по языковым парам, поэтому качество может быть неравномерным.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ine-eng

  • source group: Indo-European languages

  • target group: English

  • OPUS readme: ine-eng

  • model: transformer

  • source language(s): afr aln ang_Latn arg asm ast awa bel bel_Latn ben bho bos_Latn bre bul bul_Latn cat ces cor cos csb_Latn cym dan deu dsb egl ell enm_Latn ext fao fra frm_Latn frr fry gcf_Latn gla gle glg glv gom gos got_Goth grc_Grek gsw guj hat hif_Latn hin hrv hsb hye ind isl ita jdt_Cyrl ksh kur_Arab kur_Latn lad lad_Latn lat_Latn lav lij lit lld_Latn lmo ltg ltz mai mar max_Latn mfe min mkd mwl nds nld nno nob nob_Hebr non_Latn npi oci ori orv_Cyrl oss pan_Guru pap pdc pes pes_Latn pes_Thaa pms pnb pol por prg_Latn pus roh rom ron rue rus san_Deva scn sco sgs sin slv snd_Arab spa sqi srp_Cyrl srp_Latn stq swe swg tgk_Cyrl tly_Latn tmw_Latn ukr urd vec wln yid zlm_Latn zsm_Latn zza

  • target language(s): eng

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
newsdev2014-hineng.hin.eng11.20.375
newsdev2016-enro-roneng.ron.eng35.50.614
newsdev2017-enlv-laveng.lav.eng25.10.542
newsdev2019-engu-gujeng.guj.eng16.00.420
newsdev2019-enlt-liteng.lit.eng24.00.522
newsdiscussdev2015-enfr-fraeng.fra.eng30.10.550
newsdiscusstest2015-enfr-fraeng.fra.eng33.40.572
newssyscomb2009-ceseng.ces.eng24.00.520
newssyscomb2009-deueng.deu.eng25.70.526
newssyscomb2009-fraeng.fra.eng27.90.550
newssyscomb2009-itaeng.ita.eng31.40.574
newssyscomb2009-spaeng.spa.eng28.30.555
news-test2008-deueng.deu.eng24.00.515
news-test2008-fraeng.fra.eng24.50.524
news-test2008-spaeng.spa.eng25.50.533
newstest2009-ceseng.ces.eng23.30.516
newstest2009-deueng.deu.eng23.20.512
newstest2009-fraeng.fra.eng27.30.545
newstest2009-itaeng.ita.eng30.30.567
newstest2009-spaeng.spa.eng27.90.549
newstest2010-ceseng.ces.eng23.80.523
newstest2010-deueng.deu.eng26.20.545
newstest2010-fraeng.fra.eng28.60.562
newstest2010-spaeng.spa.eng31.40.581
newstest2011-ceseng.ces.eng24.20.521
newstest2011-deueng.deu.eng23.90.522
newstest2011-fraeng.fra.eng29.50.570
newstest2011-spaeng.spa.eng30.30.570
newstest2012-ceseng.ces.eng23.50.516
newstest2012-deueng.deu.eng24.90.529
newstest2012-fraeng.fra.eng30.00.568
newstest2012-ruseng.rus.eng29.90.565
newstest2012-spaeng.spa.eng33.30.593
newstest2013-ceseng.ces.eng25.60.531
newstest2013-deueng.deu.eng27.70.545
newstest2013-fraeng.fra.eng30.00.561
newstest2013-ruseng.rus.eng24.40.514
newstest2013-spaeng.spa.eng30.80.577
newstest2014-csen-ceseng.ces.eng27.70.558
newstest2014-deen-deueng.deu.eng27.70.545
newstest2014-fren-fraeng.fra.eng32.20.592
newstest2014-hien-hineng.hin.eng16.70.450
newstest2014-ruen-ruseng.rus.eng27.20.552
newstest2015-encs-ceseng.ces.eng25.40.518
newstest2015-ende-deueng.deu.eng28.80.552
newstest2015-enru-ruseng.rus.eng25.60.527
newstest2016-encs-ceseng.ces.eng27.00.540
newstest2016-ende-deueng.deu.eng33.50.592
newstest2016-enro-roneng.ron.eng32.80.591
newstest2016-enru-ruseng.rus.eng24.80.523
newstest2017-encs-ceseng.ces.eng23.70.510
newstest2017-ende-deueng.deu.eng29.30.556
newstest2017-enlv-laveng.lav.eng18.90.486
newstest2017-enru-ruseng.rus.eng28.00.546
newstest2018-encs-ceseng.ces.eng24.90.521
newstest2018-ende-deueng.deu.eng36.00.604
newstest2018-enru-ruseng.rus.eng23.80.517
newstest2019-deen-deueng.deu.eng31.50.570
newstest2019-guen-gujeng.guj.eng12.10.377
newstest2019-lten-liteng.lit.eng26.60.555
newstest2019-ruen-ruseng.rus.eng27.50.541
Tatoeba-test.afr-eng.afr.eng59.00.724
Tatoeba-test.ang-eng.ang.eng9.90.254
Tatoeba-test.arg-eng.arg.eng41.60.487
Tatoeba-test.asm-eng.asm.eng22.80.392
Tatoeba-test.ast-eng.ast.eng36.10.521
Tatoeba-test.awa-eng.awa.eng11.60.280
Tatoeba-test.bel-eng.bel.eng42.20.597
Tatoeba-test.ben-eng.ben.eng45.80.598
Tatoeba-test.bho-eng.bho.eng34.40.518
Tatoeba-test.bre-eng.bre.eng24.40.405
Tatoeba-test.bul-eng.bul.eng50.80.660
Tatoeba-test.cat-eng.cat.eng51.20.677
Tatoeba-test.ces-eng.ces.eng47.60.641
Tatoeba-test.cor-eng.cor.eng5.40.214
Tatoeba-test.cos-eng.cos.eng61.00.675
Tatoeba-test.csb-eng.csb.eng22.50.394
Tatoeba-test.cym-eng.cym.eng34.70.522
Tatoeba-test.dan-eng.dan.eng56.20.708
Tatoeba-test.deu-eng.deu.eng44.90.625
Tatoeba-test.dsb-eng.dsb.eng21.00.383
Tatoeba-test.egl-eng.egl.eng6.90.221
Tatoeba-test.ell-eng.ell.eng62.10.741
Tatoeba-test.enm-eng.enm.eng22.60.466
Tatoeba-test.ext-eng.ext.eng33.20.496
Tatoeba-test.fao-eng.fao.eng28.10.460
Tatoeba-test.fas-eng.fas.eng9.60.306
Tatoeba-test.fra-eng.fra.eng50.30.661
Tatoeba-test.frm-eng.frm.eng30.00.457
Tatoeba-test.frr-eng.frr.eng15.20.301
Tatoeba-test.fry-eng.fry.eng34.40.525
Tatoeba-test.gcf-eng.gcf.eng18.40.317
Tatoeba-test.gla-eng.gla.eng24.10.400
Tatoeba-test.gle-eng.gle.eng52.20.671
Tatoeba-test.glg-eng.glg.eng50.50.669
Tatoeba-test.glv-eng.glv.eng5.70.189
Tatoeba-test.gos-eng.gos.eng19.20.378
Tatoeba-test.got-eng.got.eng0.10.022
Tatoeba-test.grc-eng.grc.eng0.90.095
Tatoeba-test.gsw-eng.gsw.eng23.90.390
Tatoeba-test.guj-eng.guj.eng28.00.428
Tatoeba-test.hat-eng.hat.eng44.20.567
Tatoeba-test.hbs-eng.hbs.eng51.60.666
Tatoeba-test.hif-eng.hif.eng22.30.451
Tatoeba-test.hin-eng.hin.eng41.70.585
Tatoeba-test.hsb-eng.hsb.eng46.40.590
Tatoeba-test.hye-eng.hye.eng40.40.564
Tatoeba-test.isl-eng.isl.eng43.80.605
Tatoeba-test.ita-eng.ita.eng60.70.735
Tatoeba-test.jdt-eng.jdt.eng5.50.091
Tatoeba-test.kok-eng.kok.eng7.80.205
Tatoeba-test.ksh-eng.ksh.eng15.80.284
Tatoeba-test.kur-eng.kur.eng11.60.232
Tatoeba-test.lad-eng.lad.eng30.70.484
Tatoeba-test.lah-eng.lah.eng11.00.286
Tatoeba-test.lat-eng.lat.eng24.40.432
Tatoeba-test.lav-eng.lav.eng47.20.646
Tatoeba-test.lij-eng.lij.eng9.00.287
Tatoeba-test.lit-eng.lit.eng51.70.670
Tatoeba-test.lld-eng.lld.eng22.40.369
Tatoeba-test.lmo-eng.lmo.eng26.10.381
Tatoeba-test.ltz-eng.ltz.eng39.80.536
Tatoeba-test.mai-eng.mai.eng72.30.758
Tatoeba-test.mar-eng.mar.eng32.00.554
Tatoeba-test.mfe-eng.mfe.eng63.10.822
Tatoeba-test.mkd-eng.mkd.eng49.50.638
Tatoeba-test.msa-eng.msa.eng38.60.566
Tatoeba-test.multi.eng45.60.615
Tatoeba-test.mwl-eng.mwl.eng40.40.767
Tatoeba-test.nds-eng.nds.eng35.50.538
Tatoeba-test.nep-eng.nep.eng4.90.209
Tatoeba-test.nld-eng.nld.eng54.20.694
Tatoeba-test.non-eng.non.eng39.30.573
Tatoeba-test.nor-eng.nor.eng50.90.663
Tatoeba-test.oci-eng.oci.eng19.60.386
Tatoeba-test.ori-eng.ori.eng16.20.364
Tatoeba-test.orv-eng.orv.eng13.60.288
Tatoeba-test.oss-eng.oss.eng9.40.301
Tatoeba-test.pan-eng.pan.eng17.10.389
Tatoeba-test.pap-eng.pap.eng57.00.680
Tatoeba-test.pdc-eng.pdc.eng41.60.526
Tatoeba-test.pms-eng.pms.eng13.70.333
Tatoeba-test.pol-eng.pol.eng46.50.632
Tatoeba-test.por-eng.por.eng56.40.710
Tatoeba-test.prg-eng.prg.eng2.30.193
Tatoeba-test.pus-eng.pus.eng3.20.194
Tatoeba-test.roh-eng.roh.eng17.50.420
Tatoeba-test.rom-eng.rom.eng5.00.237
Tatoeba-test.ron-eng.ron.eng51.40.670
Tatoeba-test.rue-eng.rue.eng26.00.447
Tatoeba-test.rus-eng.rus.eng47.80.634
Tatoeba-test.san-eng.san.eng4.00.195
Tatoeba-test.scn-eng.scn.eng45.10.440
Tatoeba-test.sco-eng.sco.eng41.90.582
Tatoeba-test.sgs-eng.sgs.eng38.70.498
Tatoeba-test.sin-eng.sin.eng29.70.499
Tatoeba-test.slv-eng.slv.eng38.20.564
Tatoeba-test.snd-eng.snd.eng12.70.342
Tatoeba-test.spa-eng.spa.eng53.20.687
Tatoeba-test.sqi-eng.sqi.eng51.90.679
Tatoeba-test.stq-eng.stq.eng9.00.391
Tatoeba-test.swe-eng.swe.eng57.40.705
Tatoeba-test.swg-eng.swg.eng18.00.338
Tatoeba-test.tgk-eng.tgk.eng24.30.413
Tatoeba-test.tly-eng.tly.eng1.10.094
Tatoeba-test.ukr-eng.ukr.eng48.00.639
Tatoeba-test.urd-eng.urd.eng27.20.471
Tatoeba-test.vec-eng.vec.eng28.00.398
Tatoeba-test.wln-eng.wln.eng17.50.320
Tatoeba-test.yid-eng.yid.eng26.90.457
Tatoeba-test.zza-eng.zza.eng1.70.131

System Info:

  • hf_name: ine-eng

  • source_languages: ine

  • target_languages: eng

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/ine-eng/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['ca', 'es', 'os', 'ro', 'fy', 'cy', 'sc', 'is', 'yi', 'lb', 'an', 'sq', 'fr', 'ht', 'rm', 'ps', 'af', 'uk', 'sl', 'lt', 'bg', 'be', 'gd', 'si', 'en', 'br', 'mk', 'or', 'mr', 'ru', 'fo', 'co', 'oc', 'pl', 'gl', 'nb', 'bn', 'id', 'hy', 'da', 'gv', 'nl', 'pt', 'hi', 'as', 'kw', 'ga', 'sv', 'gu', 'wa', 'lv', 'el', 'it', 'hr', 'ur', 'nn', 'de', 'cs', 'ine']

  • src_constituents: {'cat', 'spa', 'pap', 'mwl', 'lij', 'bos_Latn', 'lad_Latn', 'lat_Latn', 'pcd', 'oss', 'ron', 'fry', 'cym', 'awa', 'swg', 'zsm_Latn', 'srd', 'gcf_Latn', 'isl', 'yid', 'bho', 'ltz', 'kur_Latn', 'arg', 'pes_Thaa', 'sqi', 'csb_Latn', 'fra', 'hat', 'non_Latn', 'sco', 'pnb', 'roh', 'bul_Latn', 'pus', 'afr', 'ukr', 'slv', 'lit', 'tmw_Latn', 'hsb', 'tly_Latn', 'bul', 'bel', 'got_Goth', 'lat_Grek', 'ext', 'gla', 'mai', 'sin', 'hif_Latn', 'eng', 'bre', 'nob_Hebr', 'prg_Latn', 'ang_Latn', 'aln', 'mkd', 'ori', 'mar', 'afr_Arab', 'san_Deva', 'gos', 'rus', 'fao', 'orv_Cyrl', 'bel_Latn', 'cos', 'zza', 'grc_Grek', 'oci', 'mfe', 'gom', 'bjn', 'sgs', 'tgk_Cyrl', 'hye_Latn', 'pdc', 'srp_Cyrl', 'pol', 'ast', 'glg', 'pms', 'nob', 'ben', 'min', 'srp_Latn', 'zlm_Latn', 'ind', 'rom', 'hye', 'scn', 'enm_Latn', 'lmo', 'npi', 'pes', 'dan', 'rus_Latn', 'jdt_Cyrl', 'gsw', 'glv', 'nld', 'snd_Arab', 'kur_Arab', 'por', 'hin', 'dsb', 'asm', 'lad', 'frm_Latn', 'ksh', 'pan_Guru', 'cor', 'gle', 'swe', 'guj', 'wln', 'lav', 'ell', 'frr', 'rue', 'ita', 'hrv', 'urd', 'stq', 'nno', 'deu', 'lld_Latn', 'ces', 'egl', 'vec', 'max_Latn', 'pes_Latn', 'ltg', 'nds'}

  • tgt_constituents: {'eng'}

  • src_multilingual: True

  • tgt_multilingual: False

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/ine-eng/opus2m-2020-08-01.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/ine-eng/opus2m-2020-08-01.test.txt

  • src_alpha3: ine

  • tgt_alpha3: eng

  • short_pair: ine-en

  • chrF2_score: 0.615

  • bleu: 45.6

  • brevity_penalty: 0.997

  • ref_len: 71872.0

  • src_name: Indo-European languages

  • tgt_name: English

  • train_date: 2020-08-01

  • src_alpha2: ine

  • tgt_alpha2: en

  • prefer_old: False

  • long_pair: ine-eng

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
0e2ead2

0 моделей