/ Модель

Характеристики

Контекст
512 токенов
Параметры
54,9 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-zlw

ПереводТекст → текст3 профессии

Модель OPUS-MT переводит английские тексты на польский, чешский, кашубский, нижнелужицкий и верхнелужицкий языки.

1 816скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-zlw — модель машинного перевода проекта OPUS-MT на архитектуре Transformer Marian. Она переводит с английского на западнославянские языки: польский, чешский, кашубский, нижнелужицкий и верхнелужицкий. Для выбора целевого языка перед текстом требуется добавить специальный токен вида >>id<< с допустимым идентификатором языка.

Модель содержит 54,9 млн параметров, использует нормализацию и токенизацию SentencePiece с словарём 32k. Нативная длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow. В README приведены результаты BLEU и chr-F на тестовых наборах для перевода с английского на чешский; эти показатели не гарантируют такое же качество для каждого целевого языка и типа текста.

Модель предназначена для перевода текстов и предложений общего назначения. Лицензия — Apache-2.0.

Сценарии применения

  • перевод английских текстов на польский
  • перевод английских текстов на чешский
  • перевод английских текстов на кашубский
  • перевод английских текстов на нижнелужицкий
  • перевод английских текстов на верхнелужицкий

Ограничения

Для выбора языка перевода нужно указывать целевой языковой токен формата >>id<<. Контекст ограничен 512 токенами; опубликованные в README оценки относятся к отдельным тестовым наборам перевода на чешский.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-zlw

  • source group: English

  • target group: West Slavic languages

  • OPUS readme: eng-zlw

  • model: transformer

  • source language(s): eng

  • target language(s): ces csb_Latn dsb hsb pol

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-02.zip

  • test set translations: opus2m-2020-08-02.test.txt

  • test set scores: opus2m-2020-08-02.eval.txt

Benchmarks

testsetBLEUchr-F
newssyscomb2009-engces.eng.ces20.60.488
news-test2008-engces.eng.ces18.30.466
newstest2009-engces.eng.ces19.80.483
newstest2010-engces.eng.ces19.80.486
newstest2011-engces.eng.ces20.60.489
newstest2012-engces.eng.ces18.60.464
newstest2013-engces.eng.ces22.30.495
newstest2015-encs-engces.eng.ces21.70.502
newstest2016-encs-engces.eng.ces24.50.521
newstest2017-encs-engces.eng.ces20.10.480
newstest2018-encs-engces.eng.ces19.90.483
newstest2019-encs-engces.eng.ces21.20.490
Tatoeba-test.eng-ces.eng.ces43.70.632
Tatoeba-test.eng-csb.eng.csb1.20.188
Tatoeba-test.eng-dsb.eng.dsb1.50.167
Tatoeba-test.eng-hsb.eng.hsb5.70.199
Tatoeba-test.eng.multi42.80.632
Tatoeba-test.eng-pol.eng.pol43.20.641

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
92ffd5a

0 моделей