/ Модель

Характеристики

Контекст
512 токенов
Параметры
56,7 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-zle

ПереводТекст → текст3 профессии

Модель Marian переводит текст с английского на русский и другие восточнославянские языки с выбором целевого языка специальным токеном.

151скачиваний за 30 дней1лайквеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-zle — модель машинного перевода из проекта OPUS-MT, опубликованная Helsinki-NLP. Это трансформер Marian с 56,7 млн параметров, предназначенный для перевода с английского на восточнославянские языки: белорусский, русский, украинский, русинский, старославянский и латинизированный белорусский. Для выбора целевого языка в начале входа требуется специальный токен вида >>id<<; модель использует нормализацию и SentencePiece с словарями по 32 тыс. токенов.

Модель принимает текст на английском и генерирует перевод на выбранном восточнославянском языке. В README приведены результаты на тестовых наборах англо-русского перевода, включая BLEU 27,4 для newstest2012. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Качество зависит от языка, тематики и формулировки исходного текста; результаты тестов англо-русского перевода не характеризуют одинаково качество для всех целевых языков. Нативный контекст ограничен 512 токенами, поэтому длинные тексты могут потребовать разбиения на фрагменты.

Сценарии применения

  • перевод английских текстов на русский
  • перевод с английского на украинский
  • перевод с английского на белорусский
  • перевод английских фраз на русинский
  • пакетный перевод коротких англоязычных предложений

Ограничения

Для выбора языка перевода во входе требуется целевой токен вида >>id<<. Нативный контекст составляет 512 токенов; приведённые в карточке тестовые результаты относятся к англо-русскому переводу и не гарантируют такое же качество для остальных целевых языков.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-zle

  • source group: English

  • target group: East Slavic languages

  • OPUS readme: eng-zle

  • model: transformer

  • source language(s): eng

  • target language(s): bel bel_Latn orv_Cyrl rue rus ukr

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-02.zip

  • test set translations: opus2m-2020-08-02.test.txt

  • test set scores: opus2m-2020-08-02.eval.txt

Benchmarks

testsetBLEUchr-F
newstest2012-engrus.eng.rus27.40.550
newstest2013-engrus.eng.rus21.40.493
newstest2015-enru-engrus.eng.rus24.20.534
newstest2016-enru-engrus.eng.rus23.30.518
newstest2017-enru-engrus.eng.rus25.30.541
newstest2018-enru-engrus.eng.rus22.40.527
newstest2019-enru-engrus.eng.rus24.10.505
Tatoeba-test.eng-bel.eng.bel20.80.471
Tatoeba-test.eng.multi37.20.580
Tatoeba-test.eng-orv.eng.orv0.60.130
Tatoeba-test.eng-rue.eng.rue1.40.168
Tatoeba-test.eng-rus.eng.rus41.30.616
Tatoeba-test.eng-ukr.eng.ukr38.70.596

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
9cfcf67

0 моделей