/ Модель

Характеристики

Контекст
512 токенов
Параметры
56,5 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-afa-en

ПереводТекст → текст3 профессии

Многоязычная модель OPUS-MT переводит тексты с ряда афразийских языков на английский.

225скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-afa-en — модель машинного перевода семейства OPUS-MT, опубликованная Helsinki-NLP. Это MarianMT-трансформер с 56,5 млн параметров, обученный переводить с нескольких афразийских языков на английский. В источниках перечислены арабские разновидности (в том числе acm, afb, apc, arq, ary, arz и ara), амхарский, хауса, иврит, кабильский, мальтийский, рифский, сомалийский и тигринья; входной текст нормализуется и токенизируется с помощью SentencePiece.

Модель подходит для перевода фраз и текстов с поддерживаемых языков на английский. В карточке приведены оценки BLEU и chr-F на тестовых наборах Tatoeba, включая результаты для амхарского, арабского и хауса; качество зависит от языка и может существенно различаться. Максимальный контекст составляет 512 токенов. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0.

Сценарии применения

  • перевод с амхарского на английский
  • перевод с арабского и его разновидностей на английский
  • перевод с хауса на английский
  • перевод с иврита, сомалийского или тигринья на английский
  • перевод коротких фраз с кабильского, мальтийского или рифского на английский

Ограничения

Контекст ограничен 512 токенами, а качество заметно различается между языками; приведённые тестовые оценки относятся к отдельным наборам и не гарантируют качество для всех разновидностей и сценариев.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

afa-eng

  • source group: Afro-Asiatic languages

  • target group: English

  • OPUS readme: afa-eng

  • model: transformer

  • source language(s): acm afb amh apc ara arq ary arz hau_Latn heb kab mlt rif_Latn shy_Latn som tir

  • target language(s): eng

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • download original weights: opus2m-2020-07-31.zip

  • test set translations: opus2m-2020-07-31.test.txt

  • test set scores: opus2m-2020-07-31.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.amh-eng.amh.eng35.90.550
Tatoeba-test.ara-eng.ara.eng36.60.543
Tatoeba-test.hau-eng.hau.eng11.90.327
Tatoeba-test.heb-eng.heb.eng42.70.591
Tatoeba-test.kab-eng.kab.eng4.30.213
Tatoeba-test.mlt-eng.mlt.eng44.30.618
Tatoeba-test.multi.eng27.10.464
Tatoeba-test.rif-eng.rif.eng3.50.141
Tatoeba-test.shy-eng.shy.eng0.60.125
Tatoeba-test.som-eng.som.eng23.60.472
Tatoeba-test.tir-eng.tir.eng13.10.328

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
946737c

0 моделей