/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
43,9 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

Ссылки

Hugging Face

opus-mt-itc-itc

Helsinki-NLP
ПереводТекст → текст3 профессии

Многоязычная модель OPUS на базе MarianMT для перевода между языками италийской группы.

735скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-itc-itc — модель машинного перевода из проекта OPUS, разработанная Helsinki-NLP. Она переводит между языками италийской группы, включая итальянский, испанский, французский, португальский, каталанский, романшский, галисийский и ряд региональных и исторических языков. Модель построена на архитектуре Transformer и реализована как MarianMTModel; размер — 43,9 млн параметров, контекст — до 512 токенов.

Для выбора языка перевода требуется добавить в начало предложения специальный токен вида `>>id<<`, где `id` — допустимый код целевого языка. Вход и выход — текст. Предобработка включает нормализацию и SentencePiece с моделью словаря на 32 тыс. элементов. Для ряда языковых пар в карточке приведены оценки на тестах Tatoeba.

Модель подходит для перевода предложений между поддерживаемыми языками, в том числе для языков с ограниченными ресурсами. Качество может различаться между языковыми парами; контекст ограничен 512 токенами, поэтому длинные документы потребуется разбивать на части. Лицензия — Apache-2.0.

Сценарии применения

  • перевод с итальянского на испанский и обратно
  • перевод между испанским, французским и португальским
  • перевод текстов на каталанский и галисийский
  • перевод между романшским и другими поддерживаемыми языками
  • перевод предложений на региональные и исторические италийские языки

Ограничения

Для указания целевого языка необходимо добавлять в начало входного текста токен вида `>>id<<`. Поддерживаемый контекст ограничен 512 токенами, а качество перевода зависит от конкретной языковой пары.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделейI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

itc-itc

  • source group: Italic languages

  • target group: Italic languages

  • OPUS readme: itc-itc

  • model: transformer

  • source language(s): arg ast bjn cat cos egl fra frm_Latn gcf_Latn glg hat ind ita lad lad_Latn lat_Grek lat_Latn lij lld_Latn lmo mwl oci pap pcd pms por roh ron scn spa srd vec wln zsm_Latn

  • target language(s): arg ast bjn cat cos egl fra frm_Latn gcf_Latn glg hat ind ita lad lad_Latn lat_Grek lat_Latn lij lld_Latn lmo mwl oci pap pcd pms por roh ron scn spa srd vec wln zsm_Latn

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus-2020-07-07.zip

  • test set translations: opus-2020-07-07.test.txt

  • test set scores: opus-2020-07-07.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.arg-fra.arg.fra40.80.501
Tatoeba-test.arg-spa.arg.spa59.90.739
Tatoeba-test.ast-fra.ast.fra45.40.628
Tatoeba-test.ast-por.ast.por100.01.000
Tatoeba-test.ast-spa.ast.spa46.80.636
Tatoeba-test.cat-fra.cat.fra51.60.689
Tatoeba-test.cat-ita.cat.ita49.20.699
Tatoeba-test.cat-por.cat.por48.00.688
Tatoeba-test.cat-ron.cat.ron35.40.719
Tatoeba-test.cat-spa.cat.spa69.00.826
Tatoeba-test.cos-fra.cos.fra22.30.383
Tatoeba-test.cos-pms.cos.pms3.40.199
Tatoeba-test.egl-fra.egl.fra9.50.283
Tatoeba-test.egl-ita.egl.ita3.00.206
Tatoeba-test.egl-spa.egl.spa3.70.194
Tatoeba-test.fra-arg.fra.arg3.80.090
Tatoeba-test.fra-ast.fra.ast25.90.457
Tatoeba-test.fra-cat.fra.cat42.20.637
Tatoeba-test.fra-cos.fra.cos3.30.185
Tatoeba-test.fra-egl.fra.egl2.20.120
Tatoeba-test.fra-frm.fra.frm1.00.191
Tatoeba-test.fra-gcf.fra.gcf0.20.099
Tatoeba-test.fra-glg.fra.glg40.50.625
Tatoeba-test.fra-hat.fra.hat22.60.472
Tatoeba-test.fra-ita.fra.ita46.70.679
Tatoeba-test.fra-lad.fra.lad15.90.345
Tatoeba-test.fra-lat.fra.lat2.90.247
Tatoeba-test.fra-lij.fra.lij1.00.201
Tatoeba-test.fra-lld.fra.lld1.10.257
Tatoeba-test.fra-lmo.fra.lmo1.20.241
Tatoeba-test.fra-msa.fra.msa0.40.111
Tatoeba-test.fra-oci.fra.oci7.30.322
Tatoeba-test.fra-pap.fra.pap69.80.912
Tatoeba-test.fra-pcd.fra.pcd0.60.144
Tatoeba-test.fra-pms.fra.pms1.00.181
Tatoeba-test.fra-por.fra.por39.70.619
Tatoeba-test.fra-roh.fra.roh5.70.286
Tatoeba-test.fra-ron.fra.ron36.40.591
Tatoeba-test.fra-scn.fra.scn2.10.101
Tatoeba-test.fra-spa.fra.spa47.50.670
Tatoeba-test.fra-srd.fra.srd2.80.306
Tatoeba-test.fra-vec.fra.vec3.00.345
Tatoeba-test.fra-wln.fra.wln3.50.212
Tatoeba-test.frm-fra.frm.fra11.40.472
Tatoeba-test.gcf-fra.gcf.fra7.10.267
Tatoeba-test.gcf-lad.gcf.lad0.00.170
Tatoeba-test.gcf-por.gcf.por0.00.230
Tatoeba-test.gcf-spa.gcf.spa13.40.314
Tatoeba-test.glg-fra.glg.fra54.70.702
Tatoeba-test.glg-ita.glg.ita40.10.661
Tatoeba-test.glg-por.glg.por57.60.748
Tatoeba-test.glg-spa.glg.spa70.00.817
Tatoeba-test.hat-fra.hat.fra14.20.419
Tatoeba-test.hat-spa.hat.spa17.90.449
Tatoeba-test.ita-cat.ita.cat51.00.693
Tatoeba-test.ita-egl.ita.egl1.10.114
Tatoeba-test.ita-fra.ita.fra58.20.727
Tatoeba-test.ita-glg.ita.glg41.70.652
Tatoeba-test.ita-lad.ita.lad17.50.419
Tatoeba-test.ita-lat.ita.lat7.10.294
Tatoeba-test.ita-lij.ita.lij1.00.208
Tatoeba-test.ita-msa.ita.msa0.90.115
Tatoeba-test.ita-oci.ita.oci12.30.378
Tatoeba-test.ita-pms.ita.pms1.60.182
Tatoeba-test.ita-por.ita.por44.80.665
Tatoeba-test.ita-ron.ita.ron43.30.653
Tatoeba-test.ita-spa.ita.spa56.60.733
Tatoeba-test.ita-vec.ita.vec2.00.187
Tatoeba-test.lad-fra.lad.fra30.40.458
Tatoeba-test.lad-gcf.lad.gcf0.00.163
Tatoeba-test.lad-ita.lad.ita12.30.426
Tatoeba-test.lad-lat.lad.lat1.60.178
Tatoeba-test.lad-por.lad.por8.80.394
Tatoeba-test.lad-ron.lad.ron78.30.717
Tatoeba-test.lad-spa.lad.spa28.30.531
Tatoeba-test.lat-fra.lat.fra9.40.300
Tatoeba-test.lat-ita.lat.ita20.00.421
Tatoeba-test.lat-lad.lat.lad3.80.173
Tatoeba-test.lat-por.lat.por13.00.354
Tatoeba-test.lat-ron.lat.ron14.00.358
Tatoeba-test.lat-spa.lat.spa21.80.436
Tatoeba-test.lij-fra.lij.fra13.80.346
Tatoeba-test.lij-ita.lij.ita14.70.442
Tatoeba-test.lld-fra.lld.fra18.80.428
Tatoeba-test.lld-spa.lld.spa11.10.377
Tatoeba-test.lmo-fra.lmo.fra11.00.329
Tatoeba-test.msa-fra.msa.fra0.80.129
Tatoeba-test.msa-ita.msa.ita1.10.138
Tatoeba-test.msa-msa.msa.msa19.10.453
Tatoeba-test.msa-pap.msa.pap0.00.037
Tatoeba-test.msa-por.msa.por2.40.155
Tatoeba-test.msa-ron.msa.ron1.20.129
Tatoeba-test.msa-spa.msa.spa1.00.139
Tatoeba-test.multi.multi40.80.599
Tatoeba-test.mwl-por.mwl.por35.40.561
Tatoeba-test.oci-fra.oci.fra24.50.467
Tatoeba-test.oci-ita.oci.ita23.30.493
Tatoeba-test.oci-spa.oci.spa26.10.505
Tatoeba-test.pap-fra.pap.fra31.00.629
Tatoeba-test.pap-msa.pap.msa0.00.051
Tatoeba-test.pcd-fra.pcd.fra13.80.381
Tatoeba-test.pcd-spa.pcd.spa2.60.227
Tatoeba-test.pms-cos.pms.cos3.40.217
Tatoeba-test.pms-fra.pms.fra13.40.347
Tatoeba-test.pms-ita.pms.ita13.00.373
Tatoeba-test.pms-spa.pms.spa13.10.374
Tatoeba-test.por-ast.por.ast100.01.000
Tatoeba-test.por-cat.por.cat45.10.673
Tatoeba-test.por-fra.por.fra52.50.698
Tatoeba-test.por-gcf.por.gcf16.00.128
Tatoeba-test.por-glg.por.glg57.50.750
Tatoeba-test.por-ita.por.ita50.10.710
Tatoeba-test.por-lad.por.lad15.70.341
Tatoeba-test.por-lat.por.lat11.10.362
Tatoeba-test.por-msa.por.msa2.40.136
Tatoeba-test.por-mwl.por.mwl30.50.559
Tatoeba-test.por-roh.por.roh0.00.132
Tatoeba-test.por-ron.por.ron40.00.632
Tatoeba-test.por-spa.por.spa58.60.756
Tatoeba-test.roh-fra.roh.fra23.10.564
Tatoeba-test.roh-por.roh.por21.40.347
Tatoeba-test.roh-spa.roh.spa19.80.489
Tatoeba-test.ron-cat.ron.cat59.50.854
Tatoeba-test.ron-fra.ron.fra47.40.647
Tatoeba-test.ron-ita.ron.ita45.70.683
Tatoeba-test.ron-lad.ron.lad44.20.712
Tatoeba-test.ron-lat.ron.lat14.80.449
Tatoeba-test.ron-msa.ron.msa1.20.098
Tatoeba-test.ron-por.ron.por42.70.650
Tatoeba-test.ron-spa.ron.spa50.40.686
Tatoeba-test.scn-fra.scn.fra2.40.180
Tatoeba-test.scn-spa.scn.spa5.10.212
Tatoeba-test.spa-arg.spa.arg10.80.267
Tatoeba-test.spa-ast.spa.ast24.60.514
Tatoeba-test.spa-cat.spa.cat61.60.783
Tatoeba-test.spa-egl.spa.egl2.20.106
Tatoeba-test.spa-fra.spa.fra51.10.683
Tatoeba-test.spa-gcf.spa.gcf7.80.067
Tatoeba-test.spa-glg.spa.glg62.80.776
Tatoeba-test.spa-hat.spa.hat16.60.398
Tatoeba-test.spa-ita.spa.ita51.80.718
Tatoeba-test.spa-lad.spa.lad14.60.393
Tatoeba-test.spa-lat.spa.lat21.50.486
Tatoeba-test.spa-lld.spa.lld2.00.222
Tatoeba-test.spa-msa.spa.msa0.80.113
Tatoeba-test.spa-oci.spa.oci10.30.377
Tatoeba-test.spa-pcd.spa.pcd0.90.115
Tatoeba-test.spa-pms.spa.pms1.50.194
Tatoeba-test.spa-por.spa.por49.40.698
Tatoeba-test.spa-roh.spa.roh4.60.261
Tatoeba-test.spa-ron.spa.ron39.10.618
Tatoeba-test.spa-scn.spa.scn2.00.113
Tatoeba-test.spa-wln.spa.wln8.70.295
Tatoeba-test.srd-fra.srd.fra6.70.369
Tatoeba-test.vec-fra.vec.fra59.90.608
Tatoeba-test.vec-ita.vec.ita14.20.405
Tatoeba-test.wln-fra.wln.fra8.90.344
Tatoeba-test.wln-spa.wln.spa9.60.298

System Info:

  • hf_name: itc-itc

  • source_languages: itc

  • target_languages: itc

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/itc-itc/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['it', 'ca', 'rm', 'es', 'ro', 'gl', 'sc', 'co', 'wa', 'pt', 'oc', 'an', 'id', 'fr', 'ht', 'itc']

  • src_constituents: {'ita', 'cat', 'roh', 'spa', 'pap', 'bjn', 'lmo', 'mwl', 'lij', 'lat_Latn', 'lad_Latn', 'pcd', 'lat_Grek', 'ext', 'ron', 'ast', 'glg', 'pms', 'zsm_Latn', 'srd', 'gcf_Latn', 'lld_Latn', 'min', 'tmw_Latn', 'cos', 'wln', 'zlm_Latn', 'por', 'egl', 'oci', 'vec', 'arg', 'ind', 'fra', 'hat', 'lad', 'max_Latn', 'frm_Latn', 'scn', 'mfe'}

  • tgt_constituents: {'ita', 'cat', 'roh', 'spa', 'pap', 'bjn', 'lmo', 'mwl', 'lij', 'lat_Latn', 'lad_Latn', 'pcd', 'lat_Grek', 'ext', 'ron', 'ast', 'glg', 'pms', 'zsm_Latn', 'srd', 'gcf_Latn', 'lld_Latn', 'min', 'tmw_Latn', 'cos', 'wln', 'zlm_Latn', 'por', 'egl', 'oci', 'vec', 'arg', 'ind', 'fra', 'hat', 'lad', 'max_Latn', 'frm_Latn', 'scn', 'mfe'}

  • src_multilingual: True

  • tgt_multilingual: True

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/itc-itc/opus-2020-07-07.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/itc-itc/opus-2020-07-07.test.txt

  • src_alpha3: itc

  • tgt_alpha3: itc

  • short_pair: itc-itc

  • chrF2_score: 0.599

  • bleu: 40.8

  • brevity_penalty: 0.968

  • ref_len: 77448.0

  • src_name: Italic languages

  • tgt_name: Italic languages

  • train_date: 2020-07-07

  • src_alpha2: itc

  • tgt_alpha2: itc

  • prefer_old: False

  • long_pair: itc-itc

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
2dfc691

0 моделей

    Создать бенчмарк