/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
43,3 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

Ссылки

Hugging Face

opus-mt-gmw-gmw

Helsinki-NLP
ПереводТекст → текст3 профессии

Компактная модель OPUS на базе Marian для перевода между языками западногерманской группы.

125скачиваний за 30 дней1лайквеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-gmw-gmw — модель машинного перевода из проекта OPUS, опубликованная под лицензией Apache-2.0. Она переводит между языками западногерманской группы, поддерживая, среди прочих, африкаанс, немецкий, английский, фризские языки, нидерландский, люксембургский и идиш; для выбора целевого языка требуется начальный токен вида >>id<<. Модель построена на архитектуре Transformer и реализована как MarianMTModel; число параметров — 43,3 млн, длина контекста — 512 токенов.

Модель предназначена для перевода предложений и текстов между перечисленными языками и их вариантами. В README описана нормализация текста и токенизация SentencePiece с словарём на 32 тыс. единиц. Приведены тестовые результаты OPUS, однако качество может различаться в зависимости от языковой пары и тематики текста.

Сценарии применения

  • перевод с немецкого на английский и обратно
  • перевод между нидерландским и немецким
  • перевод текстов на африкаанс
  • перевод между фризскими языками и другими западногерманскими языками
  • перевод коротких текстов на идиш или люксембургском

Ограничения

Для выбора языка перевода необходим начальный токен целевого языка в формате >>id<<. Контекст ограничен 512 токенами; качество зависит от конкретной языковой пары, а оценки в карточке получены на указанных тестовых наборах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделейI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gmw-gmw

  • source group: West Germanic languages

  • target group: West Germanic languages

  • OPUS readme: gmw-gmw

  • model: transformer

  • source language(s): afr ang_Latn deu eng enm_Latn frr fry gos gsw ksh ltz nds nld pdc sco stq swg yid

  • target language(s): afr ang_Latn deu eng enm_Latn frr fry gos gsw ksh ltz nds nld pdc sco stq swg yid

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus-2020-07-27.zip

  • test set translations: opus-2020-07-27.test.txt

  • test set scores: opus-2020-07-27.eval.txt

Benchmarks

testsetBLEUchr-F
newssyscomb2009-deueng.deu.eng25.30.527
newssyscomb2009-engdeu.eng.deu19.00.502
news-test2008-deueng.deu.eng23.70.515
news-test2008-engdeu.eng.deu19.20.491
newstest2009-deueng.deu.eng23.10.514
newstest2009-engdeu.eng.deu18.60.495
newstest2010-deueng.deu.eng25.80.545
newstest2010-engdeu.eng.deu20.30.505
newstest2011-deueng.deu.eng23.70.523
newstest2011-engdeu.eng.deu18.90.490
newstest2012-deueng.deu.eng24.40.529
newstest2012-engdeu.eng.deu19.20.489
newstest2013-deueng.deu.eng27.20.545
newstest2013-engdeu.eng.deu22.40.514
newstest2014-deen-deueng.deu.eng27.00.546
newstest2015-ende-deueng.deu.eng28.40.552
newstest2015-ende-engdeu.eng.deu25.30.541
newstest2016-ende-deueng.deu.eng33.20.595
newstest2016-ende-engdeu.eng.deu29.80.578
newstest2017-ende-deueng.deu.eng29.00.557
newstest2017-ende-engdeu.eng.deu23.90.534
newstest2018-ende-deueng.deu.eng35.90.607
newstest2018-ende-engdeu.eng.deu34.80.609
newstest2019-deen-deueng.deu.eng32.10.579
newstest2019-ende-engdeu.eng.deu31.00.579
Tatoeba-test.afr-ang.afr.ang0.00.065
Tatoeba-test.afr-deu.afr.deu46.80.668
Tatoeba-test.afr-eng.afr.eng58.50.728
Tatoeba-test.afr-enm.afr.enm13.40.357
Tatoeba-test.afr-fry.afr.fry5.30.026
Tatoeba-test.afr-gos.afr.gos3.50.228
Tatoeba-test.afr-ltz.afr.ltz1.60.131
Tatoeba-test.afr-nld.afr.nld55.40.715
Tatoeba-test.afr-yid.afr.yid3.40.008
Tatoeba-test.ang-afr.ang.afr3.10.096
Tatoeba-test.ang-deu.ang.deu2.60.188
Tatoeba-test.ang-eng.ang.eng5.40.211
Tatoeba-test.ang-enm.ang.enm1.70.197
Tatoeba-test.ang-gos.ang.gos6.60.186
Tatoeba-test.ang-ltz.ang.ltz5.30.072
Tatoeba-test.ang-yid.ang.yid0.90.131
Tatoeba-test.deu-afr.deu.afr52.70.699
Tatoeba-test.deu-ang.deu.ang0.80.133
Tatoeba-test.deu-eng.deu.eng43.50.621
Tatoeba-test.deu-enm.deu.enm6.90.245
Tatoeba-test.deu-frr.deu.frr0.80.200
Tatoeba-test.deu-fry.deu.fry15.10.367
Tatoeba-test.deu-gos.deu.gos2.20.279
Tatoeba-test.deu-gsw.deu.gsw1.00.176
Tatoeba-test.deu-ksh.deu.ksh0.60.208
Tatoeba-test.deu-ltz.deu.ltz12.10.274
Tatoeba-test.deu-nds.deu.nds18.80.446
Tatoeba-test.deu-nld.deu.nld48.60.669
Tatoeba-test.deu-pdc.deu.pdc4.60.198
Tatoeba-test.deu-sco.deu.sco12.00.340
Tatoeba-test.deu-stq.deu.stq3.20.240
Tatoeba-test.deu-swg.deu.swg0.50.179
Tatoeba-test.deu-yid.deu.yid1.70.160
Tatoeba-test.eng-afr.eng.afr55.80.730
Tatoeba-test.eng-ang.eng.ang5.70.157
Tatoeba-test.eng-deu.eng.deu36.70.584
Tatoeba-test.eng-enm.eng.enm2.00.272
Tatoeba-test.eng-frr.eng.frr6.10.246
Tatoeba-test.eng-fry.eng.fry15.30.378
Tatoeba-test.eng-gos.eng.gos1.20.242
Tatoeba-test.eng-gsw.eng.gsw0.90.164
Tatoeba-test.eng-ksh.eng.ksh0.90.170
Tatoeba-test.eng-ltz.eng.ltz13.70.263
Tatoeba-test.eng-nds.eng.nds17.10.410
Tatoeba-test.eng-nld.eng.nld49.60.673
Tatoeba-test.eng-pdc.eng.pdc5.10.218
Tatoeba-test.eng-sco.eng.sco34.80.587
Tatoeba-test.eng-stq.eng.stq2.10.322
Tatoeba-test.eng-swg.eng.swg1.70.192
Tatoeba-test.eng-yid.eng.yid1.70.173
Tatoeba-test.enm-afr.enm.afr13.40.397
Tatoeba-test.enm-ang.enm.ang0.70.063
Tatoeba-test.enm-deu.enm.deu41.50.514
Tatoeba-test.enm-eng.enm.eng21.30.483
Tatoeba-test.enm-fry.enm.fry0.00.058
Tatoeba-test.enm-gos.enm.gos10.70.354
Tatoeba-test.enm-ksh.enm.ksh7.00.161
Tatoeba-test.enm-nds.enm.nds18.60.316
Tatoeba-test.enm-nld.enm.nld38.30.524
Tatoeba-test.enm-yid.enm.yid0.70.128
Tatoeba-test.frr-deu.frr.deu4.10.219
Tatoeba-test.frr-eng.frr.eng14.10.186
Tatoeba-test.frr-fry.frr.fry3.10.129
Tatoeba-test.frr-gos.frr.gos3.60.226
Tatoeba-test.frr-nds.frr.nds12.40.145
Tatoeba-test.frr-nld.frr.nld9.80.209
Tatoeba-test.frr-stq.frr.stq2.80.142
Tatoeba-test.fry-afr.fry.afr0.01.000
Tatoeba-test.fry-deu.fry.deu30.10.535
Tatoeba-test.fry-eng.fry.eng28.00.486
Tatoeba-test.fry-enm.fry.enm16.00.262
Tatoeba-test.fry-frr.fry.frr5.50.160
Tatoeba-test.fry-gos.fry.gos1.60.307
Tatoeba-test.fry-ltz.fry.ltz30.40.438
Tatoeba-test.fry-nds.fry.nds8.10.083
Tatoeba-test.fry-nld.fry.nld41.40.616
Tatoeba-test.fry-stq.fry.stq1.60.217
Tatoeba-test.fry-yid.fry.yid1.60.159
Tatoeba-test.gos-afr.gos.afr6.30.318
Tatoeba-test.gos-ang.gos.ang6.20.058
Tatoeba-test.gos-deu.gos.deu11.70.363
Tatoeba-test.gos-eng.gos.eng14.90.322
Tatoeba-test.gos-enm.gos.enm9.10.398
Tatoeba-test.gos-frr.gos.frr3.30.117
Tatoeba-test.gos-fry.gos.fry13.10.387
Tatoeba-test.gos-ltz.gos.ltz3.10.154
Tatoeba-test.gos-nds.gos.nds2.40.206
Tatoeba-test.gos-nld.gos.nld13.90.395
Tatoeba-test.gos-stq.gos.stq2.10.209
Tatoeba-test.gos-yid.gos.yid1.70.147
Tatoeba-test.gsw-deu.gsw.deu10.50.350
Tatoeba-test.gsw-eng.gsw.eng10.70.299
Tatoeba-test.ksh-deu.ksh.deu12.00.373
Tatoeba-test.ksh-eng.ksh.eng3.20.225
Tatoeba-test.ksh-enm.ksh.enm13.40.308
Tatoeba-test.ltz-afr.ltz.afr37.40.525
Tatoeba-test.ltz-ang.ltz.ang2.80.036
Tatoeba-test.ltz-deu.ltz.deu40.30.596
Tatoeba-test.ltz-eng.ltz.eng31.70.490
Tatoeba-test.ltz-fry.ltz.fry36.30.658
Tatoeba-test.ltz-gos.ltz.gos2.90.209
Tatoeba-test.ltz-nld.ltz.nld38.80.530
Tatoeba-test.ltz-stq.ltz.stq5.80.165
Tatoeba-test.ltz-yid.ltz.yid1.00.159
Tatoeba-test.multi.multi36.40.568
Tatoeba-test.nds-deu.nds.deu35.00.573
Tatoeba-test.nds-eng.nds.eng29.60.495
Tatoeba-test.nds-enm.nds.enm3.70.194
Tatoeba-test.nds-frr.nds.frr6.60.133
Tatoeba-test.nds-fry.nds.fry4.20.087
Tatoeba-test.nds-gos.nds.gos2.00.243
Tatoeba-test.nds-nld.nds.nld41.40.618
Tatoeba-test.nds-swg.nds.swg0.60.178
Tatoeba-test.nds-yid.nds.yid8.30.238
Tatoeba-test.nld-afr.nld.afr59.40.759
Tatoeba-test.nld-deu.nld.deu49.90.685
Tatoeba-test.nld-eng.nld.eng54.10.699
Tatoeba-test.nld-enm.nld.enm5.00.250
Tatoeba-test.nld-frr.nld.frr2.40.224
Tatoeba-test.nld-fry.nld.fry19.40.446
Tatoeba-test.nld-gos.nld.gos2.50.273
Tatoeba-test.nld-ltz.nld.ltz13.80.292
Tatoeba-test.nld-nds.nld.nds21.30.457
Tatoeba-test.nld-sco.nld.sco14.70.423
Tatoeba-test.nld-stq.nld.stq1.90.257
Tatoeba-test.nld-swg.nld.swg4.20.162
Tatoeba-test.nld-yid.nld.yid2.60.186
Tatoeba-test.pdc-deu.pdc.deu39.70.529
Tatoeba-test.pdc-eng.pdc.eng25.00.427
Tatoeba-test.sco-deu.sco.deu28.40.428
Tatoeba-test.sco-eng.sco.eng41.80.595
Tatoeba-test.sco-nld.sco.nld36.40.565
Tatoeba-test.stq-deu.stq.deu7.70.328
Tatoeba-test.stq-eng.stq.eng21.10.428
Tatoeba-test.stq-frr.stq.frr2.00.118
Tatoeba-test.stq-fry.stq.fry6.30.255
Tatoeba-test.stq-gos.stq.gos1.40.244
Tatoeba-test.stq-ltz.stq.ltz4.40.204
Tatoeba-test.stq-nld.stq.nld10.70.371
Tatoeba-test.stq-yid.stq.yid1.40.105
Tatoeba-test.swg-deu.swg.deu9.50.343
Tatoeba-test.swg-eng.swg.eng15.10.306
Tatoeba-test.swg-nds.swg.nds0.70.196
Tatoeba-test.swg-nld.swg.nld11.60.308
Tatoeba-test.swg-yid.swg.yid0.90.186
Tatoeba-test.yid-afr.yid.afr100.01.000
Tatoeba-test.yid-ang.yid.ang0.60.079
Tatoeba-test.yid-deu.yid.deu16.70.372
Tatoeba-test.yid-eng.yid.eng15.80.344
Tatoeba-test.yid-enm.yid.enm1.30.166
Tatoeba-test.yid-fry.yid.fry5.60.157
Tatoeba-test.yid-gos.yid.gos2.20.160
Tatoeba-test.yid-ltz.yid.ltz2.10.238
Tatoeba-test.yid-nds.yid.nds14.40.365
Tatoeba-test.yid-nld.yid.nld20.90.397
Tatoeba-test.yid-stq.yid.stq3.70.165
Tatoeba-test.yid-swg.yid.swg1.80.156

System Info:

  • hf_name: gmw-gmw

  • source_languages: gmw

  • target_languages: gmw

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/gmw-gmw/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['nl', 'en', 'lb', 'af', 'de', 'fy', 'yi', 'gmw']

  • src_constituents: {'ksh', 'nld', 'eng', 'enm_Latn', 'ltz', 'stq', 'afr', 'pdc', 'deu', 'gos', 'ang_Latn', 'fry', 'gsw', 'frr', 'nds', 'yid', 'swg', 'sco'}

  • tgt_constituents: {'ksh', 'nld', 'eng', 'enm_Latn', 'ltz', 'stq', 'afr', 'pdc', 'deu', 'gos', 'ang_Latn', 'fry', 'gsw', 'frr', 'nds', 'yid', 'swg', 'sco'}

  • src_multilingual: True

  • tgt_multilingual: True

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/gmw-gmw/opus-2020-07-27.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/gmw-gmw/opus-2020-07-27.test.txt

  • src_alpha3: gmw

  • tgt_alpha3: gmw

  • short_pair: gmw-gmw

  • chrF2_score: 0.568

  • bleu: 36.4

  • brevity_penalty: 1.0

  • ref_len: 72534.0

  • src_name: West Germanic languages

  • tgt_name: West Germanic languages

  • train_date: 2020-07-27

  • src_alpha2: gmw

  • tgt_alpha2: gmw

  • prefer_old: False

  • long_pair: gmw-gmw

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
223b99a

0 моделей

    Создать бенчмарк