/ Модель

Характеристики

Контекст
512 токенов
Параметры
53,6 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-gmw

ПереводТекст → текст3 профессии

Трансформер OPUS-MT переводит текст с английского на западногерманские языки с указанием целевого языка специальным токеном.

111скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-gmw — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Это трансформер Marian с 53,6 млн параметров, предназначенный для перевода с английского на западногерманские языки. Модель поддерживает целевые языки африкаанс, немецкий, нидерландский, люксембургский, фризские языки, идиш и ряд региональных языков и исторических вариантов. Для выбора языка перевода в начале входа требуется токен вида >>id<< с допустимым кодом целевого языка.

Модель использует нормализацию текста и SentencePiece с раздельными словарями размером 32 тыс. токенов; длина контекста — 512 токенов. В README приведены результаты оценки на наборах новостных переводов, включая BLEU 21,4 для направления английский–немецкий. Модель принимает текст и выдаёт текст перевода. Распространяется по лицензии Apache-2.0; возможны ошибки перевода, особенно для редких региональных и исторических вариантов языка.

Сценарии применения

  • перевод английских текстов на немецкий
  • перевод с английского на нидерландский
  • перевод английских текстов на африкаанс
  • перевод на люксембургский и фризские языки
  • перевод на идиш и региональные западногерманские языки

Ограничения

Для выбора целевого языка нужен корректный начальный токен вида >>id<<. Контекст ограничен 512 токенами, а качество может различаться между целевыми языками; опубликованные в README примеры оценок относятся к новостным текстам.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-gmw

  • source group: English

  • target group: West Germanic languages

  • OPUS readme: eng-gmw

  • model: transformer

  • source language(s): eng

  • target language(s): afr ang_Latn deu enm_Latn frr fry gos gsw ksh ltz nds nld pdc sco stq swg yid

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
newssyscomb2009-engdeu.eng.deu21.40.518
news-test2008-engdeu.eng.deu21.00.510
newstest2009-engdeu.eng.deu20.40.513
newstest2010-engdeu.eng.deu22.90.528
newstest2011-engdeu.eng.deu20.50.508
newstest2012-engdeu.eng.deu21.00.507
newstest2013-engdeu.eng.deu24.70.533
newstest2015-ende-engdeu.eng.deu28.20.568
newstest2016-ende-engdeu.eng.deu33.30.605
newstest2017-ende-engdeu.eng.deu26.50.559
newstest2018-ende-engdeu.eng.deu39.90.649
newstest2019-ende-engdeu.eng.deu35.90.616
Tatoeba-test.eng-afr.eng.afr55.70.740
Tatoeba-test.eng-ang.eng.ang6.50.164
Tatoeba-test.eng-deu.eng.deu40.40.614
Tatoeba-test.eng-enm.eng.enm2.30.254
Tatoeba-test.eng-frr.eng.frr8.40.248
Tatoeba-test.eng-fry.eng.fry17.90.424
Tatoeba-test.eng-gos.eng.gos2.20.309
Tatoeba-test.eng-gsw.eng.gsw1.60.186
Tatoeba-test.eng-ksh.eng.ksh1.50.189
Tatoeba-test.eng-ltz.eng.ltz20.20.383
Tatoeba-test.eng.multi41.60.609
Tatoeba-test.eng-nds.eng.nds18.90.437
Tatoeba-test.eng-nld.eng.nld53.10.699
Tatoeba-test.eng-pdc.eng.pdc7.70.262
Tatoeba-test.eng-sco.eng.sco37.70.557
Tatoeba-test.eng-stq.eng.stq5.90.380
Tatoeba-test.eng-swg.eng.swg6.20.236
Tatoeba-test.eng-yid.eng.yid6.80.296

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
015234e

0 моделей