/ Модель

Характеристики

Контекст
512 токенов
Параметры
56,5 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-afa

ПереводТекст → текст3 профессии

Модель MarianMT переводит текст с английского на ряд афразийских языков с выбором языка назначения через специальный токен.

108скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-afa — модель машинного перевода проекта OPUS-MT на архитектуре Transformer Marian, опубликованная под Apache-2.0. Она переводит текст с английского на несколько афразийских языков: арабские разновидности, амхарский, тигринья, сомалийский, хауса, иврит, кабильский, мальтийский, рифский и другие. Для выбора языка перевода перед текстом требуется указать специальный токен вида >>id<<.

Модель содержит 56,5 млн параметров, использует нормализацию и SentencePiece с словарями spm32k и принимает контекст длиной до 512 токенов. Она ориентирована на однонаправленный перевод с английского, а не на перевод с целевых языков обратно на английский. Приведённые в карточке оценки на тестовых наборах различаются по языкам, поэтому качество может быть ограниченным и неоднородным.

Сценарии применения

  • перевод английских текстов на амхарский
  • перевод с английского на арабские диалекты
  • перевод английских сообщений на сомалийский
  • перевод с английского на иврит или мальтийский
  • многоязычный перевод английских предложений на поддерживаемые афразийские языки

Ограничения

Модель переводит только с английского на перечисленные целевые языки и требует токен языка назначения в начале входа. Тестовые оценки в карточке показывают неодинаковое качество между языковыми направлениями.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-afa

  • source group: English

  • target group: Afro-Asiatic languages

  • OPUS readme: eng-afa

  • model: transformer

  • source language(s): eng

  • target language(s): acm afb amh apc ara arq ary arz hau_Latn heb kab mlt rif_Latn shy_Latn som tir

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.eng-amh.eng.amh11.60.504
Tatoeba-test.eng-ara.eng.ara12.00.404
Tatoeba-test.eng-hau.eng.hau10.20.429
Tatoeba-test.eng-heb.eng.heb32.30.551
Tatoeba-test.eng-kab.eng.kab1.60.191
Tatoeba-test.eng-mlt.eng.mlt17.70.551
Tatoeba-test.eng.multi14.40.375
Tatoeba-test.eng-rif.eng.rif1.70.103
Tatoeba-test.eng-shy.eng.shy0.80.090
Tatoeba-test.eng-som.eng.som16.00.429
Tatoeba-test.eng-tir.eng.tir2.70.238

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
7d3a337

0 моделей