/ Модель

Характеристики

Контекст
512 токенов
Параметры
56,8 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-bnt

ПереводТекст → текст3 профессии

Трансформер MarianMT переводит текст с английского на несколько языков банту.

154скачиваний за 30 дней1лайквеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-bnt — модель машинного перевода из проекта OPUS-MT, опубликованная Helsinki-NLP. Это трансформер MarianMT с 56,8 млн параметров, который переводит текст с английского на несколько языков банту: киньяруанда, лингала, луганда, ньянджа, кирунди, шона, суахили, тони, тсонга, умбунду и зулу. Для выбора языка назначения в начале предложения требуется токен вида `>>id<<`; текст обрабатывается с нормализацией и SentencePiece.

Модель предназначена для перевода отдельных фраз и текстов с английского на поддерживаемые языки банту. В README приведены результаты на тестовых наборах Tatoeba для ряда языковых пар; оценки различаются между языками, поэтому качество следует проверять на целевых данных. Длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow; лицензия — Apache-2.0.

Сценарии применения

  • перевод английских фраз на суахили
  • перевод английских текстов на зулу
  • перевод с английского на киньяруанда
  • перевод английских сообщений на лингала
  • перевод коротких текстов на языки банту

Ограничения

Модель переводит только с английского на перечисленные языки назначения и требует токен языка назначения в начале предложения. Тестовые оценки в README заметно различаются между языковыми парами; качество для конкретного языка и текста следует проверять отдельно.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-bnt

  • source group: English

  • target group: Bantu languages

  • OPUS readme: eng-bnt

  • model: transformer

  • source language(s): eng

  • target language(s): kin lin lug nya run sna swh toi_Latn tso umb xho zul

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus-2020-07-26.zip

  • test set translations: opus-2020-07-26.test.txt

  • test set scores: opus-2020-07-26.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.eng-kin.eng.kin12.50.519
Tatoeba-test.eng-lin.eng.lin1.10.277
Tatoeba-test.eng-lug.eng.lug4.80.415
Tatoeba-test.eng.multi12.10.449
Tatoeba-test.eng-nya.eng.nya22.10.616
Tatoeba-test.eng-run.eng.run13.20.492
Tatoeba-test.eng-sna.eng.sna32.10.669
Tatoeba-test.eng-swa.eng.swa1.70.180
Tatoeba-test.eng-toi.eng.toi10.70.266
Tatoeba-test.eng-tso.eng.tso26.90.631
Tatoeba-test.eng-umb.eng.umb5.20.295
Tatoeba-test.eng-xho.eng.xho22.60.615
Tatoeba-test.eng-zul.eng.zul41.10.769

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
3077799

0 моделей