/ Модель

Характеристики

Контекст
512 токенов
Параметры
56,7 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-trk

ПереводТекст → текст3 профессии

Модель OPUS-MT переводит английский текст на несколько тюркских языков и вариантов письма.

793скачиваний за 30 дней8лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-trk — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на несколько тюркских языков и вариантов письма; перед переводом нужно добавить в начало входного текста токен целевого языка в формате >>id<<.

Модель основана на архитектуре Transformer и реализована как MarianMTModel. Она содержит 56,7 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов и рассчитана на контекст до 512 токенов. Доступны веса PyTorch и TensorFlow. В целевые языки входят азербайджанский, башкирский, чувашский, крымскотатарский, казахский, киргизский, татарский, туркменский, турецкий, тувинский, уйгурский и узбекский.

Модель предназначена для перевода предложений и текстов с английского на указанные тюркские языки. В README приведены результаты оценки BLEU и chr-F на наборах новостных текстов, однако качество может различаться между целевыми языками и вариантами письма. Лицензия — Apache-2.0.

Сценарии применения

  • перевод английских текстов на казахский
  • перевод английских текстов на татарский
  • перевод английских текстов на турецкий
  • перевод английских текстов на узбекский
  • перевод английских текстов на киргизский

Ограничения

Для выбора целевого языка требуется добавить в начало входа специальный токен языка в формате >>id<<. Контекст ограничен 512 токенами, а качество может различаться между целевыми языками и письменностями.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-trk

  • source group: English

  • target group: Turkic languages

  • OPUS readme: eng-trk

  • model: transformer

  • source language(s): eng

  • target language(s): aze_Latn bak chv crh crh_Latn kaz_Cyrl kaz_Latn kir_Cyrl kjh kum ota_Arab ota_Latn sah tat tat_Arab tat_Latn tuk tuk_Latn tur tyv uig_Arab uig_Cyrl uzb_Cyrl uzb_Latn

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
newsdev2016-entr-engtur.eng.tur10.10.437
newstest2016-entr-engtur.eng.tur9.20.410
newstest2017-entr-engtur.eng.tur9.00.410
newstest2018-entr-engtur.eng.tur9.20.413
Tatoeba-test.eng-aze.eng.aze26.80.577
Tatoeba-test.eng-bak.eng.bak7.60.308
Tatoeba-test.eng-chv.eng.chv4.30.270
Tatoeba-test.eng-crh.eng.crh8.10.330
Tatoeba-test.eng-kaz.eng.kaz11.10.359
Tatoeba-test.eng-kir.eng.kir28.60.524
Tatoeba-test.eng-kjh.eng.kjh1.00.041
Tatoeba-test.eng-kum.eng.kum2.20.075
Tatoeba-test.eng.multi19.90.455
Tatoeba-test.eng-ota.eng.ota0.50.065
Tatoeba-test.eng-sah.eng.sah0.70.030
Tatoeba-test.eng-tat.eng.tat9.70.316
Tatoeba-test.eng-tuk.eng.tuk5.90.317
Tatoeba-test.eng-tur.eng.tur34.60.623
Tatoeba-test.eng-tyv.eng.tyv5.40.210
Tatoeba-test.eng-uig.eng.uig0.10.155
Tatoeba-test.eng-uzb.eng.uzb3.40.275

System Info:

  • hf_name: eng-trk

  • source_languages: eng

  • target_languages: trk

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/eng-trk/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['en', 'tt', 'cv', 'tk', 'tr', 'ba', 'trk']

  • src_constituents: {'eng'}

  • tgt_constituents: {'kir_Cyrl', 'tat_Latn', 'tat', 'chv', 'uzb_Cyrl', 'kaz_Latn', 'aze_Latn', 'crh', 'kjh', 'uzb_Latn', 'ota_Arab', 'tuk_Latn', 'tuk', 'tat_Arab', 'sah', 'tyv', 'tur', 'uig_Arab', 'crh_Latn', 'kaz_Cyrl', 'uig_Cyrl', 'kum', 'ota_Latn', 'bak'}

  • src_multilingual: False

  • tgt_multilingual: True

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-trk/opus2m-2020-08-01.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-trk/opus2m-2020-08-01.test.txt

  • src_alpha3: eng

  • tgt_alpha3: trk

  • short_pair: en-trk

  • chrF2_score: 0.455

  • bleu: 19.9

  • brevity_penalty: 1.0

  • ref_len: 57072.0

  • src_name: English

  • tgt_name: Turkic languages

  • train_date: 2020-08-01

  • src_alpha2: en

  • tgt_alpha2: trk

  • prefer_old: False

  • long_pair: eng-trk

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
f9d8f6c

0 моделей