/ Модель

Характеристики

Контекст
512 токенов
Параметры
56,7 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-alv

ПереводТекст → текст3 профессии

Модель MarianMT переводит текст с английского на несколько языков группы Atlantic-Congo с выбором целевого языка через специальный токен.

93скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP разработала Helsinki-NLP/opus-mt-en-alv — модель машинного перевода на архитектуре Transformer, реализованная как MarianMTModel. Она переводит текст с английского на языки группы Atlantic-Congo: ewe, fuc, fuv, igbo, kinyarwanda, lingala, luganda, nyanja, kirundi, sango, shona, суахили, tsonga, umbundu, wolof, xhosa и зулу. Для выбора целевого языка перед предложением требуется специальный токен вида >>id<<.

Модель содержит 56,7 млн параметров, использует нормализацию и SentencePiece с словарями spm32k; длина контекста — 512 токенов. Метаданные указывают поддержку английского и ряда языков назначения, включая шона, киньяруанда, волоф, игбо, сango, эве, зулу, луганда, тсонга, лингала, ньянджа, йоруба, кирунди и коса. В README приведены оценки на тестах, включая низкие BLEU для нескольких языковых пар, поэтому качество может заметно различаться по языкам. Модель опубликована под лицензией Apache 2.0.

Сценарии применения

  • перевод английского текста на эве
  • перевод с английского на игбо
  • перевод английского текста на суахили
  • перевод с английского на зулу или коса
  • перевод коротких английских фраз на языки Центральной и Западной Африки

Ограничения

Качество заметно зависит от целевого языка: в README приведены низкие BLEU-оценки для нескольких языковых пар. Перед каждым предложением нужно указывать токен целевого языка формата >>id<<.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-alv

  • source group: English

  • target group: Atlantic-Congo languages

  • OPUS readme: eng-alv

  • model: transformer

  • source language(s): eng

  • target language(s): ewe fuc fuv ibo kin lin lug nya run sag sna swh toi_Latn tso umb wol xho yor zul

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.eng-ewe.eng.ewe4.90.212
Tatoeba-test.eng-ful.eng.ful0.60.079
Tatoeba-test.eng-ibo.eng.ibo3.50.255
Tatoeba-test.eng-kin.eng.kin10.50.510
Tatoeba-test.eng-lin.eng.lin1.10.273
Tatoeba-test.eng-lug.eng.lug5.30.340
Tatoeba-test.eng.multi11.40.429
Tatoeba-test.eng-nya.eng.nya18.10.595
Tatoeba-test.eng-run.eng.run13.90.484
Tatoeba-test.eng-sag.eng.sag5.30.194
Tatoeba-test.eng-sna.eng.sna26.20.623
Tatoeba-test.eng-swa.eng.swa1.00.141
Tatoeba-test.eng-toi.eng.toi7.00.224
Tatoeba-test.eng-tso.eng.tso46.70.643
Tatoeba-test.eng-umb.eng.umb7.80.359
Tatoeba-test.eng-wol.eng.wol6.80.191
Tatoeba-test.eng-xho.eng.xho27.10.629
Tatoeba-test.eng-yor.eng.yor17.40.356
Tatoeba-test.eng-zul.eng.zul34.10.729

System Info:

  • hf_name: eng-alv

  • source_languages: eng

  • target_languages: alv

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/eng-alv/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['en', 'sn', 'rw', 'wo', 'ig', 'sg', 'ee', 'zu', 'lg', 'ts', 'ln', 'ny', 'yo', 'rn', 'xh', 'alv']

  • src_constituents: {'eng'}

  • tgt_constituents: {'sna', 'kin', 'wol', 'ibo', 'swh', 'sag', 'ewe', 'zul', 'fuc', 'lug', 'tso', 'lin', 'nya', 'yor', 'run', 'xho', 'fuv', 'toi_Latn', 'umb'}

  • src_multilingual: False

  • tgt_multilingual: True

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-alv/opus2m-2020-08-01.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-alv/opus2m-2020-08-01.test.txt

  • src_alpha3: eng

  • tgt_alpha3: alv

  • short_pair: en-alv

  • chrF2_score: 0.429

  • bleu: 11.4

  • brevity_penalty: 1.0

  • ref_len: 10603.0

  • src_name: English

  • tgt_name: Atlantic-Congo languages

  • train_date: 2020-08-01

  • src_alpha2: en

  • tgt_alpha2: alv

  • prefer_old: False

  • long_pair: eng-alv

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
d4a06bd

0 моделей