/ Модель

Характеристики

Контекст
512 токенов
Параметры
58,4 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-zh-ms

ПереводТекст → текст3 профессии

Модель Helsinki-NLP для перевода текста с китайского на малайский и родственные целевые варианты.

146скачиваний за 30 дней1лайквеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-zh-ms — модель машинного перевода из семейства OPUS-MT, подготовленная Helsinki-NLP на основе архитектуры Transformer и реализованная как MarianMTModel. Она переводит текст с китайского языка на малайский; поддерживаются варианты китайского письма и речи, перечисленные в карточке, а целевой язык включает индонезийский и малайский варианты. Размер модели — 58,4 млн параметров, родной контекст — до 512 токенов.

Для выбора целевого языка перед текстом требуется языковой токен вида >>id<<; используется нормализация и токенизация SentencePiece с словарём 32k. В тесте Tatoeba для пары китайский—малайский указаны BLEU 13,9 и chr-F 0,390. Модель доступна в форматах PyTorch и TensorFlow по лицензии Apache-2.0.

Сценарии применения

  • перевод китайского текста на малайский
  • перевод китайского текста на индонезийский
  • локализация коротких текстов для малайскоязычной аудитории
  • машинный перевод китайских фраз и предложений

Ограничения

Контекст ограничен 512 токенами, а для выбора языка назначения нужно добавить в начало текста соответствующий токен вида >>id<<. В тесте Tatoeba зафиксированы BLEU 13,9 и chr-F 0,390; эти показатели не гарантируют качество на других типах текстов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

zho-msa

  • source group: Chinese

  • target group: Malay (macrolanguage)

  • OPUS readme: zho-msa

  • model: transformer-align

  • source language(s): cmn_Bopo cmn_Hani cmn_Latn hak_Hani yue_Bopo yue_Hani

  • target language(s): ind zsm_Latn

  • model: transformer-align

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus-2020-06-17.zip

  • test set translations: opus-2020-06-17.test.txt

  • test set scores: opus-2020-06-17.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.zho.msa13.90.390

System Info:

  • hf_name: zho-msa

  • source_languages: zho

  • target_languages: msa

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/zho-msa/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['zh', 'ms']

  • src_constituents: {'cmn_Hans', 'nan', 'nan_Hani', 'gan', 'yue', 'cmn_Kana', 'yue_Hani', 'wuu_Bopo', 'cmn_Latn', 'yue_Hira', 'cmn_Hani', 'cjy_Hans', 'cmn', 'lzh_Hang', 'lzh_Hira', 'cmn_Hant', 'lzh_Bopo', 'zho', 'zho_Hans', 'zho_Hant', 'lzh_Hani', 'yue_Hang', 'wuu', 'yue_Kana', 'wuu_Latn', 'yue_Bopo', 'cjy_Hant', 'yue_Hans', 'lzh', 'cmn_Hira', 'lzh_Yiii', 'lzh_Hans', 'cmn_Bopo', 'cmn_Hang', 'hak_Hani', 'cmn_Yiii', 'yue_Hant', 'lzh_Kana', 'wuu_Hani'}

  • tgt_constituents: {'zsm_Latn', 'ind', 'max_Latn', 'zlm_Latn', 'min'}

  • src_multilingual: False

  • tgt_multilingual: False

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/zho-msa/opus-2020-06-17.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/zho-msa/opus-2020-06-17.test.txt

  • src_alpha3: zho

  • tgt_alpha3: msa

  • short_pair: zh-ms

  • chrF2_score: 0.39

  • bleu: 13.9

  • brevity_penalty: 0.9229999999999999

  • ref_len: 2762.0

  • src_name: Chinese

  • tgt_name: Malay (macrolanguage)

  • train_date: 2020-06-17

  • src_alpha2: zh

  • tgt_alpha2: ms

  • prefer_old: False

  • long_pair: zho-msa

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
cf1a3e4

0 моделей