/ Модель

Характеристики

Контекст
512 токенов
Параметры
54,7 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-cpp

ПереводТекст → текст3 профессии

Модель OPUS-MT на базе Transformer переводит английский текст на ряд креольских языков и разновидностей, включая папьяменто и малайские языки.

81скачиваний за 30 дней1лайквеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-cpp — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Она переводит текст с английского на несколько креольских и близких к ним языков и разновидностей: индонезийский, минангкабау, папьяменто, макасарский, малайский и индонезийский малайский. Для выбора целевого языка в начале входного текста требуется токен вида >>id<< с допустимым кодом языка.

Модель основана на архитектуре Transformer и реализована как MarianMTModel; содержит 54,7 млн параметров, использует нормализацию и SentencePiece с словарём 32 тыс. токенов. Максимальная длина контекста — 512 токенов. Модель принимает текст и выдаёт текст перевода. Для лицензии Apache-2.0 разрешено использование в соответствии с её условиями. В README приведены результаты на тестовых наборах Tatoeba, включая BLEU 42,5 для перевода с английского на папьяменто.

Сценарии применения

  • перевод английских фраз на папьяменто
  • перевод английского текста на индонезийский
  • перевод с английского на минангкабау
  • перевод английского текста на малайские разновидности
  • машинный перевод коротких текстов между английским и поддерживаемыми языками

Ограничения

Для выбора языка перевода необходимо добавить в начало входного текста соответствующий токен целевого языка; длина контекста ограничена 512 токенами. Качество может различаться между целевыми языками: в README приведены оценки только для отдельных тестовых наборов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-cpp

  • source group: English

  • target group: Creoles and pidgins, Portuguese-based

  • OPUS readme: eng-cpp

  • model: transformer

  • source language(s): eng

  • target language(s): ind max_Latn min pap tmw_Latn zlm_Latn zsm_Latn

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.eng-msa.eng.msa32.60.573
Tatoeba-test.eng.multi32.70.574
Tatoeba-test.eng-pap.eng.pap42.50.633

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
6ce39c0

0 моделей