/ Модель

Характеристики

Контекст
512 токенов
Параметры
58,4 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-zh

ПереводТекст → текст3 профессии

Модель OPUS-MT на базе MarianMT для перевода английского текста на китайский, включая несколько языковых вариантов и письменностей.

84 281скачиваний за 30 дней406лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-zh — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на основе Transformer и реализованная архитектурой MarianMT. Она переводит текст с английского на китайский; для выбора целевого варианта китайского перед началом предложения требуется языковой токен вида `>>id<<`. Модель содержит 58,4 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов и имеет контекст до 512 токенов.

Модель ориентирована на перевод предложений и текстовых фрагментов. Карточка перечисляет варианты китайского, включая мандаринский, кантонский, уский, ганьский, юэский и классический китайский, в упрощённой и традиционной письменности для поддерживаемых вариантов. В тесте Tatoeba для пары английский—китайский указаны BLEU 31,4 и chr-F 0,268; результаты зависят от тематики и формулировок текста. Доступны веса PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0.

Сценарии применения

  • перевод английских предложений на китайский
  • перевод английских текстов на упрощённый китайский
  • перевод английских текстов на традиционный китайский
  • перевод английского на кантонский и другие перечисленные варианты китайского

Ограничения

Контекст ограничен 512 токенами; при использовании нужно указать токен целевого варианта китайского в начале предложения. Приведённые оценки относятся к тесту Tatoeba и не гарантируют качество на других тематиках и длинных текстах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-zho

  • source group: English

  • target group: Chinese

  • OPUS readme: eng-zho

  • model: transformer

  • source language(s): eng

  • target language(s): cjy_Hans cjy_Hant cmn cmn_Hans cmn_Hant gan lzh lzh_Hans nan wuu yue yue_Hans yue_Hant

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus-2020-07-17.zip

  • test set translations: opus-2020-07-17.test.txt

  • test set scores: opus-2020-07-17.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.eng.zho31.40.268

System Info:

  • hf_name: eng-zho

  • source_languages: eng

  • target_languages: zho

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/eng-zho/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['en', 'zh']

  • src_constituents: {'eng'}

  • tgt_constituents: {'cmn_Hans', 'nan', 'nan_Hani', 'gan', 'yue', 'cmn_Kana', 'yue_Hani', 'wuu_Bopo', 'cmn_Latn', 'yue_Hira', 'cmn_Hani', 'cjy_Hans', 'cmn', 'lzh_Hang', 'lzh_Hira', 'cmn_Hant', 'lzh_Bopo', 'zho', 'zho_Hans', 'zho_Hant', 'lzh_Hani', 'yue_Hang', 'wuu', 'yue_Kana', 'wuu_Latn', 'yue_Bopo', 'cjy_Hant', 'yue_Hans', 'lzh', 'cmn_Hira', 'lzh_Yiii', 'lzh_Hans', 'cmn_Bopo', 'cmn_Hang', 'hak_Hani', 'cmn_Yiii', 'yue_Hant', 'lzh_Kana', 'wuu_Hani'}

  • src_multilingual: False

  • tgt_multilingual: False

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-zho/opus-2020-07-17.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-zho/opus-2020-07-17.test.txt

  • src_alpha3: eng

  • tgt_alpha3: zho

  • short_pair: en-zh

  • chrF2_score: 0.268

  • bleu: 31.4

  • brevity_penalty: 0.8959999999999999

  • ref_len: 110468.0

  • src_name: English

  • tgt_name: Chinese

  • train_date: 2020-07-17

  • src_alpha2: en

  • tgt_alpha2: zh

  • prefer_old: False

  • long_pair: eng-zho

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
408d9bc

0 моделей