/ Модель

Характеристики

Контекст
512 токенов
Параметры
44,5 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-gem-gem

ПереводТекст → текст3 профессии

Многоязычная модель OPUS на базе MarianMT для перевода между языками германской группы.

147скачиваний за 30 дней2лайкавеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-gem-gem — модель машинного перевода проекта OPUS на архитектуре Transformer, опубликованная Helsinki-NLP. Она переводит в обоих направлениях между языками германской группы: входной и целевой язык выбираются из поддерживаемых вариантов, включая немецкий, английский, нидерландский, шведский, датский, африкаанс, исландский, идиш и другие. Для выбора целевого языка перед текстом требуется токен вида >>id<<.

Модель основана на MarianMT, содержит 44,5 млн параметров и использует нормализацию и SentencePiece с словарём размера 32 тыс. Длина контекста — 512 токенов. Метаданные указывают поддержку PyTorch и TensorFlow; лицензия — Apache-2.0. В README приведены результаты BLEU и chr-F на нескольких тестах новостного перевода.

Модель предназначена для перевода текстов между языками германской группы. Результаты зависят от языковой пары и тематики; модель не описана как универсальная для языков за пределами этой группы.

Сценарии применения

  • перевод с немецкого на английский и обратно
  • перевод между нидерландским, датским и шведским
  • перевод коротких текстов между языками германской группы
  • перевод новостных текстов между немецким и английским

Ограничения

Для выбора целевого языка нужен префиксный токен формата >>id<<. Поддерживаемые языки относятся к германской группе; качество может различаться между языковыми парами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gem-gem

  • source group: Germanic languages

  • target group: Germanic languages

  • OPUS readme: gem-gem

  • model: transformer

  • source language(s): afr ang_Latn dan deu eng enm_Latn fao frr fry gos got_Goth gsw isl ksh ltz nds nld nno nob nob_Hebr non_Latn pdc sco stq swe swg yid

  • target language(s): afr ang_Latn dan deu eng enm_Latn fao frr fry gos got_Goth gsw isl ksh ltz nds nld nno nob nob_Hebr non_Latn pdc sco stq swe swg yid

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus-2020-07-27.zip

  • test set translations: opus-2020-07-27.test.txt

  • test set scores: opus-2020-07-27.eval.txt

Benchmarks

testsetBLEUchr-F
newssyscomb2009-deueng.deu.eng24.50.519
newssyscomb2009-engdeu.eng.deu18.70.495
news-test2008-deueng.deu.eng22.80.509
news-test2008-engdeu.eng.deu18.60.485
newstest2009-deueng.deu.eng22.20.507
newstest2009-engdeu.eng.deu18.30.491
newstest2010-deueng.deu.eng24.80.537
newstest2010-engdeu.eng.deu19.70.499
newstest2011-deueng.deu.eng22.90.516
newstest2011-engdeu.eng.deu18.30.485
newstest2012-deueng.deu.eng23.90.524
newstest2012-engdeu.eng.deu18.50.484
newstest2013-deueng.deu.eng26.30.537
newstest2013-engdeu.eng.deu21.50.506
newstest2014-deen-deueng.deu.eng25.70.535
newstest2015-ende-deueng.deu.eng27.30.542
newstest2015-ende-engdeu.eng.deu24.20.534
newstest2016-ende-deueng.deu.eng31.80.584
newstest2016-ende-engdeu.eng.deu28.40.564
newstest2017-ende-deueng.deu.eng27.60.545
newstest2017-ende-engdeu.eng.deu22.80.527
newstest2018-ende-deueng.deu.eng34.10.593
newstest2018-ende-engdeu.eng.deu32.70.595
newstest2019-deen-deueng.deu.eng30.60.565
newstest2019-ende-engdeu.eng.deu29.50.567
Tatoeba-test.afr-ang.afr.ang0.00.053
Tatoeba-test.afr-dan.afr.dan57.80.907
Tatoeba-test.afr-deu.afr.deu46.40.663
Tatoeba-test.afr-eng.afr.eng57.40.717
Tatoeba-test.afr-enm.afr.enm11.30.285
Tatoeba-test.afr-fry.afr.fry0.00.167
Tatoeba-test.afr-gos.afr.gos1.50.178
Tatoeba-test.afr-isl.afr.isl29.00.760
Tatoeba-test.afr-ltz.afr.ltz11.20.246
Tatoeba-test.afr-nld.afr.nld53.30.708
Tatoeba-test.afr-nor.afr.nor66.00.752
Tatoeba-test.afr-swe.afr.swe88.00.955
Tatoeba-test.afr-yid.afr.yid59.50.443
Tatoeba-test.ang-afr.ang.afr10.70.043
Tatoeba-test.ang-dan.ang.dan6.30.190
Tatoeba-test.ang-deu.ang.deu1.40.212
Tatoeba-test.ang-eng.ang.eng8.10.247
Tatoeba-test.ang-enm.ang.enm1.70.196
Tatoeba-test.ang-fao.ang.fao10.70.105
Tatoeba-test.ang-gos.ang.gos10.70.128
Tatoeba-test.ang-isl.ang.isl16.00.135
Tatoeba-test.ang-ltz.ang.ltz16.00.121
Tatoeba-test.ang-yid.ang.yid1.50.136
Tatoeba-test.dan-afr.dan.afr22.70.655
Tatoeba-test.dan-ang.dan.ang3.10.110
Tatoeba-test.dan-deu.dan.deu47.40.676
Tatoeba-test.dan-eng.dan.eng54.70.704
Tatoeba-test.dan-enm.dan.enm4.80.291
Tatoeba-test.dan-fao.dan.fao9.70.120
Tatoeba-test.dan-gos.dan.gos3.80.240
Tatoeba-test.dan-isl.dan.isl66.10.678
Tatoeba-test.dan-ltz.dan.ltz78.30.563
Tatoeba-test.dan-nds.dan.nds6.20.335
Tatoeba-test.dan-nld.dan.nld60.00.748
Tatoeba-test.dan-nor.dan.nor68.10.812
Tatoeba-test.dan-swe.dan.swe65.00.785
Tatoeba-test.dan-swg.dan.swg2.60.182
Tatoeba-test.dan-yid.dan.yid9.30.226
Tatoeba-test.deu-afr.deu.afr50.30.682
Tatoeba-test.deu-ang.deu.ang0.50.118
Tatoeba-test.deu-dan.deu.dan49.60.679
Tatoeba-test.deu-eng.deu.eng43.40.618
Tatoeba-test.deu-enm.deu.enm2.20.159
Tatoeba-test.deu-frr.deu.frr0.40.156
Tatoeba-test.deu-fry.deu.fry10.70.355
Tatoeba-test.deu-gos.deu.gos0.70.183
Tatoeba-test.deu-got.deu.got0.30.010
Tatoeba-test.deu-gsw.deu.gsw1.10.130
Tatoeba-test.deu-isl.deu.isl24.30.504
Tatoeba-test.deu-ksh.deu.ksh0.90.173
Tatoeba-test.deu-ltz.deu.ltz15.60.304
Tatoeba-test.deu-nds.deu.nds21.20.469
Tatoeba-test.deu-nld.deu.nld47.10.657
Tatoeba-test.deu-nor.deu.nor43.90.646
Tatoeba-test.deu-pdc.deu.pdc3.00.133
Tatoeba-test.deu-sco.deu.sco12.00.296
Tatoeba-test.deu-stq.deu.stq0.60.137
Tatoeba-test.deu-swe.deu.swe50.60.668
Tatoeba-test.deu-swg.deu.swg0.20.137
Tatoeba-test.deu-yid.deu.yid3.90.229
Tatoeba-test.eng-afr.eng.afr55.20.721
Tatoeba-test.eng-ang.eng.ang4.90.118
Tatoeba-test.eng-dan.eng.dan52.60.684
Tatoeba-test.eng-deu.eng.deu35.40.573
Tatoeba-test.eng-enm.eng.enm1.80.223
Tatoeba-test.eng-fao.eng.fao7.00.312
Tatoeba-test.eng-frr.eng.frr1.20.050
Tatoeba-test.eng-fry.eng.fry15.80.381
Tatoeba-test.eng-gos.eng.gos0.70.170
Tatoeba-test.eng-got.eng.got0.30.011
Tatoeba-test.eng-gsw.eng.gsw0.50.126
Tatoeba-test.eng-isl.eng.isl20.90.463
Tatoeba-test.eng-ksh.eng.ksh1.00.141
Tatoeba-test.eng-ltz.eng.ltz12.80.292
Tatoeba-test.eng-nds.eng.nds18.30.428
Tatoeba-test.eng-nld.eng.nld47.30.657
Tatoeba-test.eng-non.eng.non0.30.145
Tatoeba-test.eng-nor.eng.nor47.20.650
Tatoeba-test.eng-pdc.eng.pdc4.80.177
Tatoeba-test.eng-sco.eng.sco38.10.597
Tatoeba-test.eng-stq.eng.stq2.40.288
Tatoeba-test.eng-swe.eng.swe52.70.677
Tatoeba-test.eng-swg.eng.swg1.10.163
Tatoeba-test.eng-yid.eng.yid4.50.223
Tatoeba-test.enm-afr.enm.afr22.80.401
Tatoeba-test.enm-ang.enm.ang0.40.062
Tatoeba-test.enm-dan.enm.dan51.40.782
Tatoeba-test.enm-deu.enm.deu33.80.473
Tatoeba-test.enm-eng.enm.eng22.40.495
Tatoeba-test.enm-fry.enm.fry16.00.173
Tatoeba-test.enm-gos.enm.gos6.10.222
Tatoeba-test.enm-isl.enm.isl59.50.651
Tatoeba-test.enm-ksh.enm.ksh10.50.130
Tatoeba-test.enm-nds.enm.nds18.10.327
Tatoeba-test.enm-nld.enm.nld38.30.546
Tatoeba-test.enm-nor.enm.nor15.60.290
Tatoeba-test.enm-yid.enm.yid2.30.215
Tatoeba-test.fao-ang.fao.ang2.10.035
Tatoeba-test.fao-dan.fao.dan53.70.625
Tatoeba-test.fao-eng.fao.eng24.70.435
Tatoeba-test.fao-gos.fao.gos12.70.116
Tatoeba-test.fao-isl.fao.isl26.30.341
Tatoeba-test.fao-nor.fao.nor41.90.586
Tatoeba-test.fao-swe.fao.swe0.01.000
Tatoeba-test.frr-deu.frr.deu7.40.263
Tatoeba-test.frr-eng.frr.eng7.00.157
Tatoeba-test.frr-fry.frr.fry4.00.112
Tatoeba-test.frr-gos.frr.gos1.00.135
Tatoeba-test.frr-nds.frr.nds12.40.207
Tatoeba-test.frr-nld.frr.nld10.60.227
Tatoeba-test.frr-stq.frr.stq1.00.058
Tatoeba-test.fry-afr.fry.afr12.70.333
Tatoeba-test.fry-deu.fry.deu30.80.555
Tatoeba-test.fry-eng.fry.eng31.20.506
Tatoeba-test.fry-enm.fry.enm0.00.175
Tatoeba-test.fry-frr.fry.frr1.60.091
Tatoeba-test.fry-gos.fry.gos1.10.254
Tatoeba-test.fry-ltz.fry.ltz30.40.526
Tatoeba-test.fry-nds.fry.nds12.40.116
Tatoeba-test.fry-nld.fry.nld43.40.637
Tatoeba-test.fry-nor.fry.nor47.10.607
Tatoeba-test.fry-stq.fry.stq0.60.181
Tatoeba-test.fry-swe.fry.swe30.20.587
Tatoeba-test.fry-yid.fry.yid3.10.173
Tatoeba-test.gos-afr.gos.afr1.80.215
Tatoeba-test.gos-ang.gos.ang0.00.045
Tatoeba-test.gos-dan.gos.dan4.10.236
Tatoeba-test.gos-deu.gos.deu19.60.406
Tatoeba-test.gos-eng.gos.eng15.10.329
Tatoeba-test.gos-enm.gos.enm5.80.271
Tatoeba-test.gos-fao.gos.fao19.00.136
Tatoeba-test.gos-frr.gos.frr1.30.119
Tatoeba-test.gos-fry.gos.fry17.10.388
Tatoeba-test.gos-isl.gos.isl16.80.356
Tatoeba-test.gos-ltz.gos.ltz3.60.174
Tatoeba-test.gos-nds.gos.nds4.70.225
Tatoeba-test.gos-nld.gos.nld16.30.406
Tatoeba-test.gos-stq.gos.stq0.70.154
Tatoeba-test.gos-swe.gos.swe8.60.319
Tatoeba-test.gos-yid.gos.yid4.40.165
Tatoeba-test.got-deu.got.deu0.20.041
Tatoeba-test.got-eng.got.eng0.20.068
Tatoeba-test.got-nor.got.nor0.60.000
Tatoeba-test.gsw-deu.gsw.deu15.90.373
Tatoeba-test.gsw-eng.gsw.eng14.70.320
Tatoeba-test.isl-afr.isl.afr38.00.641
Tatoeba-test.isl-ang.isl.ang0.00.037
Tatoeba-test.isl-dan.isl.dan67.70.836
Tatoeba-test.isl-deu.isl.deu42.60.614
Tatoeba-test.isl-eng.isl.eng43.50.610
Tatoeba-test.isl-enm.isl.enm12.40.123
Tatoeba-test.isl-fao.isl.fao15.60.176
Tatoeba-test.isl-gos.isl.gos7.10.257
Tatoeba-test.isl-nor.isl.nor53.50.690
Tatoeba-test.isl-stq.isl.stq10.70.176
Tatoeba-test.isl-swe.isl.swe67.70.818
Tatoeba-test.ksh-deu.ksh.deu11.80.393
Tatoeba-test.ksh-eng.ksh.eng4.00.239
Tatoeba-test.ksh-enm.ksh.enm9.50.085
Tatoeba-test.ltz-afr.ltz.afr36.50.529
Tatoeba-test.ltz-ang.ltz.ang0.00.043
Tatoeba-test.ltz-dan.ltz.dan80.60.722
Tatoeba-test.ltz-deu.ltz.deu40.10.581
Tatoeba-test.ltz-eng.ltz.eng36.10.511
Tatoeba-test.ltz-fry.ltz.fry16.50.524
Tatoeba-test.ltz-gos.ltz.gos0.70.118
Tatoeba-test.ltz-nld.ltz.nld40.40.535
Tatoeba-test.ltz-nor.ltz.nor19.10.582
Tatoeba-test.ltz-stq.ltz.stq2.40.093
Tatoeba-test.ltz-swe.ltz.swe25.90.430
Tatoeba-test.ltz-yid.ltz.yid1.50.160
Tatoeba-test.multi.multi42.70.614
Tatoeba-test.nds-dan.nds.dan23.00.465
Tatoeba-test.nds-deu.nds.deu39.80.610
Tatoeba-test.nds-eng.nds.eng32.00.520
Tatoeba-test.nds-enm.nds.enm3.90.156
Tatoeba-test.nds-frr.nds.frr10.70.127
Tatoeba-test.nds-fry.nds.fry10.70.231
Tatoeba-test.nds-gos.nds.gos0.80.157
Tatoeba-test.nds-nld.nds.nld44.10.634
Tatoeba-test.nds-nor.nds.nor47.10.665
Tatoeba-test.nds-swg.nds.swg0.50.166
Tatoeba-test.nds-yid.nds.yid12.70.337
Tatoeba-test.nld-afr.nld.afr58.40.748
Tatoeba-test.nld-dan.nld.dan61.30.753
Tatoeba-test.nld-deu.nld.deu48.20.670
Tatoeba-test.nld-eng.nld.eng52.80.690
Tatoeba-test.nld-enm.nld.enm5.70.178
Tatoeba-test.nld-frr.nld.frr0.90.159
Tatoeba-test.nld-fry.nld.fry23.00.467
Tatoeba-test.nld-gos.nld.gos1.00.165
Tatoeba-test.nld-ltz.nld.ltz14.40.310
Tatoeba-test.nld-nds.nld.nds24.10.485
Tatoeba-test.nld-nor.nld.nor53.60.705
Tatoeba-test.nld-sco.nld.sco15.00.415
Tatoeba-test.nld-stq.nld.stq0.50.183
Tatoeba-test.nld-swe.nld.swe73.60.842
Tatoeba-test.nld-swg.nld.swg4.20.191
Tatoeba-test.nld-yid.nld.yid9.40.299
Tatoeba-test.non-eng.non.eng27.70.501
Tatoeba-test.nor-afr.nor.afr48.20.687
Tatoeba-test.nor-dan.nor.dan69.50.820
Tatoeba-test.nor-deu.nor.deu41.10.634
Tatoeba-test.nor-eng.nor.eng49.40.660
Tatoeba-test.nor-enm.nor.enm6.80.230
Tatoeba-test.nor-fao.nor.fao6.90.395
Tatoeba-test.nor-fry.nor.fry9.20.323
Tatoeba-test.nor-got.nor.got1.50.000
Tatoeba-test.nor-isl.nor.isl34.50.555
Tatoeba-test.nor-ltz.nor.ltz22.10.447
Tatoeba-test.nor-nds.nor.nds34.30.565
Tatoeba-test.nor-nld.nor.nld50.50.676
Tatoeba-test.nor-nor.nor.nor57.60.764
Tatoeba-test.nor-swe.nor.swe68.90.813
Tatoeba-test.nor-yid.nor.yid65.00.627
Tatoeba-test.pdc-deu.pdc.deu43.50.559
Tatoeba-test.pdc-eng.pdc.eng26.10.471
Tatoeba-test.sco-deu.sco.deu7.10.295
Tatoeba-test.sco-eng.sco.eng34.40.551
Tatoeba-test.sco-nld.sco.nld9.90.438
Tatoeba-test.stq-deu.stq.deu8.60.385
Tatoeba-test.stq-eng.stq.eng21.80.431
Tatoeba-test.stq-frr.stq.frr2.10.111
Tatoeba-test.stq-fry.stq.fry7.60.267
Tatoeba-test.stq-gos.stq.gos0.70.198
Tatoeba-test.stq-isl.stq.isl16.00.121
Tatoeba-test.stq-ltz.stq.ltz3.80.150
Tatoeba-test.stq-nld.stq.nld14.60.375
Tatoeba-test.stq-yid.stq.yid2.40.096
Tatoeba-test.swe-afr.swe.afr51.80.802
Tatoeba-test.swe-dan.swe.dan64.90.784
Tatoeba-test.swe-deu.swe.deu47.00.657
Tatoeba-test.swe-eng.swe.eng55.80.700
Tatoeba-test.swe-fao.swe.fao0.00.060
Tatoeba-test.swe-fry.swe.fry14.10.449
Tatoeba-test.swe-gos.swe.gos7.50.291
Tatoeba-test.swe-isl.swe.isl70.70.812
Tatoeba-test.swe-ltz.swe.ltz15.90.553
Tatoeba-test.swe-nld.swe.nld78.70.854
Tatoeba-test.swe-nor.swe.nor67.10.799
Tatoeba-test.swe-yid.swe.yid14.70.156
Tatoeba-test.swg-dan.swg.dan7.70.341
Tatoeba-test.swg-deu.swg.deu8.00.334
Tatoeba-test.swg-eng.swg.eng12.40.305
Tatoeba-test.swg-nds.swg.nds1.10.209
Tatoeba-test.swg-nld.swg.nld4.90.244
Tatoeba-test.swg-yid.swg.yid3.40.194
Tatoeba-test.yid-afr.yid.afr23.60.552
Tatoeba-test.yid-ang.yid.ang0.10.066
Tatoeba-test.yid-dan.yid.dan17.50.392
Tatoeba-test.yid-deu.yid.deu21.00.423
Tatoeba-test.yid-eng.yid.eng17.40.368
Tatoeba-test.yid-enm.yid.enm0.60.143
Tatoeba-test.yid-fry.yid.fry5.30.169
Tatoeba-test.yid-gos.yid.gos1.20.149
Tatoeba-test.yid-ltz.yid.ltz3.50.256
Tatoeba-test.yid-nds.yid.nds14.40.487
Tatoeba-test.yid-nld.yid.nld26.10.423
Tatoeba-test.yid-nor.yid.nor47.10.583
Tatoeba-test.yid-stq.yid.stq1.50.092
Tatoeba-test.yid-swe.yid.swe35.90.518
Tatoeba-test.yid-swg.yid.swg1.00.124

System Info:

  • hf_name: gem-gem

  • source_languages: gem

  • target_languages: gem

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/gem-gem/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['da', 'sv', 'af', 'nn', 'fy', 'fo', 'de', 'nb', 'nl', 'is', 'en', 'lb', 'yi', 'gem']

  • src_constituents: {'ksh', 'enm_Latn', 'got_Goth', 'stq', 'dan', 'swe', 'afr', 'pdc', 'gos', 'nno', 'fry', 'gsw', 'fao', 'deu', 'swg', 'sco', 'nob', 'nld', 'isl', 'eng', 'ltz', 'nob_Hebr', 'ang_Latn', 'frr', 'non_Latn', 'yid', 'nds'}

  • tgt_constituents: {'ksh', 'enm_Latn', 'got_Goth', 'stq', 'dan', 'swe', 'afr', 'pdc', 'gos', 'nno', 'fry', 'gsw', 'fao', 'deu', 'swg', 'sco', 'nob', 'nld', 'isl', 'eng', 'ltz', 'nob_Hebr', 'ang_Latn', 'frr', 'non_Latn', 'yid', 'nds'}

  • src_multilingual: True

  • tgt_multilingual: True

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/gem-gem/opus-2020-07-27.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/gem-gem/opus-2020-07-27.test.txt

  • src_alpha3: gem

  • tgt_alpha3: gem

  • short_pair: gem-gem

  • chrF2_score: 0.614

  • bleu: 42.7

  • brevity_penalty: 0.993

  • ref_len: 73459.0

  • src_name: Germanic languages

  • tgt_name: Germanic languages

  • train_date: 2020-07-27

  • src_alpha2: gem

  • tgt_alpha2: gem

  • prefer_old: False

  • long_pair: gem-gem

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
2aa5dfe

0 моделей