/ Модель

Характеристики

Контекст
512 токенов
Параметры
56,7 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-alv-en

ПереводТекст → текст3 профессии

Модель OPUS-MT переводит текст с нескольких языков атлантическо-конголезской группы на английский.

117скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-alv-en — модель машинного перевода из проекта OPUS-MT, построенная на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с набора языков атлантическо-конголезской группы на английский: среди исходных языков указаны эве, фула, игбо, киньяруанда, лингала, луганда, ньянджа, суахили, волоф, йоруба и зулу. Модель содержит 56,7 млн параметров, использует нормализацию и SentencePiece с словарями размером 32 тыс. токенов; длина контекста — 512 токенов.

Модель предназначена для перевода предложений и текстовых фрагментов с поддерживаемых африканских языков на английский. В README приведены результаты тестов на наборах Tatoeba, включая BLEU 6,3 для эве→английский и 4,5 для игбо→английский; качество зависит от исходного языка и домена, поэтому результаты следует проверять для целевого сценария. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Сценарии применения

  • перевод текстов с эве на английский
  • перевод текстов с игбо на английский
  • перевод материалов на английский с языка суахили
  • перевод коротких текстов с йоруба на английский
  • перевод текстов с зулу на английский

Ограничения

Качество перевода различается между языками и может быть низким: в приведённых тестах BLEU составляет 6,3 для эве и 4,5 для игбо. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

alv-eng

  • source group: Atlantic-Congo languages

  • target group: English

  • OPUS readme: alv-eng

  • model: transformer

  • source language(s): ewe fuc fuv ibo kin lin lug nya run sag sna swh toi_Latn tso umb wol xho yor zul

  • target language(s): eng

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • download original weights: opus2m-2020-07-31.zip

  • test set translations: opus2m-2020-07-31.test.txt

  • test set scores: opus2m-2020-07-31.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.ewe-eng.ewe.eng6.30.328
Tatoeba-test.ful-eng.ful.eng0.40.108
Tatoeba-test.ibo-eng.ibo.eng4.50.196
Tatoeba-test.kin-eng.kin.eng30.70.511
Tatoeba-test.lin-eng.lin.eng2.80.213
Tatoeba-test.lug-eng.lug.eng3.40.140
Tatoeba-test.multi.eng20.90.376
Tatoeba-test.nya-eng.nya.eng38.70.492
Tatoeba-test.run-eng.run.eng24.50.417
Tatoeba-test.sag-eng.sag.eng5.50.177
Tatoeba-test.sna-eng.sna.eng26.90.412
Tatoeba-test.swa-eng.swa.eng4.90.196
Tatoeba-test.toi-eng.toi.eng3.90.147
Tatoeba-test.tso-eng.tso.eng76.70.957
Tatoeba-test.umb-eng.umb.eng4.00.195
Tatoeba-test.wol-eng.wol.eng3.70.170
Tatoeba-test.xho-eng.xho.eng38.90.556
Tatoeba-test.yor-eng.yor.eng25.10.412
Tatoeba-test.zul-eng.zul.eng46.10.623

System Info:

  • hf_name: alv-eng

  • source_languages: alv

  • target_languages: eng

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/alv-eng/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['sn', 'rw', 'wo', 'ig', 'sg', 'ee', 'zu', 'lg', 'ts', 'ln', 'ny', 'yo', 'rn', 'xh', 'alv', 'en']

  • src_constituents: {'sna', 'kin', 'wol', 'ibo', 'swh', 'sag', 'ewe', 'zul', 'fuc', 'lug', 'tso', 'lin', 'nya', 'yor', 'run', 'xho', 'fuv', 'toi_Latn', 'umb'}

  • tgt_constituents: {'eng'}

  • src_multilingual: True

  • tgt_multilingual: False

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/alv-eng/opus2m-2020-07-31.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/alv-eng/opus2m-2020-07-31.test.txt

  • src_alpha3: alv

  • tgt_alpha3: eng

  • short_pair: alv-en

  • chrF2_score: 0.376

  • bleu: 20.9

  • brevity_penalty: 1.0

  • ref_len: 15208.0

  • src_name: Atlantic-Congo languages

  • tgt_name: English

  • train_date: 2020-07-31

  • src_alpha2: alv

  • tgt_alpha2: en

  • prefer_old: False

  • long_pair: alv-eng

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
514b06e

0 моделей