/ Модель

Характеристики

Контекст
512 токенов
Параметры
58,4 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-tatoeba-es-zh

ПереводТекст → текст3 профессии

Модель Helsinki-NLP переводит испанский текст на китайский и поддерживает выбор целевого варианта китайского языка.

159скачиваний за 30 дней5лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-tatoeba-es-zh — модель машинного перевода из проекта OPUS/Tatoeba Challenge, разработанная Helsinki-NLP. Она переводит текст с испанского на китайский; модель построена на архитектуре Transformer и реализована как MarianMTModel. Число параметров — 58,4 млн, родная длина контекста — 512 токенов.

Для предобработки используются нормализация и SentencePiece с словарями по 32 тыс. токенов. Перед китайским переводом требуется указать целевой языковой токен в формате >>id<<; доступны варианты китайского, перечисленные в карточке, включая мандаринский, кантонский и другие разновидности. В README указан результат BLEU 38,8 на наборе Tatoeba-test.spa.zho.

Модель подходит для перевода предложений и коротких текстов с испанского на китайский. Она не предназначена для перевода в обратном направлении или с иных исходных языков. Распространяется по лицензии Apache-2.0; доступны веса PyTorch и TensorFlow.

Сценарии применения

  • перевод испанских предложений на китайский
  • перевод коротких сообщений с испанского на китайский
  • локализация испанских пользовательских текстов для китайской аудитории

Ограничения

Модель переводит только с испанского на китайский; качество и формат результата могут зависеть от корректной нормализации и указания целевого языкового токена. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

es-zh

  • source group: Spanish

  • target group: Chinese

  • OPUS readme: spa-zho

  • model: transformer

  • source language(s): spa

  • target language(s): cjy_Hans cjy_Hant cmn cmn_Hans cmn_Hant hsn hsn_Hani lzh nan wuu yue_Hans yue_Hant

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus-2021-01-04.zip

  • test set translations: opus-2021-01-04.test.txt

  • test set scores: opus-2021-01-04.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.spa.zho38.80.324

System Info:

  • hf_name: es-zh

  • source_languages: spa

  • target_languages: zho

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/spa-zho/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['es', 'zh']

  • src_constituents: ('Spanish', {'spa'})

  • tgt_constituents: ('Chinese', {'wuu_Bopo', 'wuu', 'cmn_Hang', 'lzh_Kana', 'lzh', 'wuu_Hani', 'lzh_Yiii', 'yue_Hans', 'cmn_Hani', 'cjy_Hans', 'cmn_Hans', 'cmn_Kana', 'zho_Hans', 'zho_Hant', 'yue', 'cmn_Bopo', 'yue_Hang', 'lzh_Hans', 'wuu_Latn', 'yue_Hant', 'hak_Hani', 'lzh_Bopo', 'cmn_Hant', 'lzh_Hani', 'lzh_Hang', 'cmn', 'lzh_Hira', 'yue_Bopo', 'yue_Hani', 'gan', 'zho', 'cmn_Yiii', 'yue_Hira', 'cmn_Latn', 'yue_Kana', 'cjy_Hant', 'cmn_Hira', 'nan_Hani', 'nan'})

  • src_multilingual: False

  • tgt_multilingual: False

  • long_pair: spa-zho

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/spa-zho/opus-2021-01-04.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/spa-zho/opus-2021-01-04.test.txt

  • src_alpha3: spa

  • tgt_alpha3: zho

  • chrF2_score: 0.324

  • bleu: 38.8

  • brevity_penalty: 0.878

  • ref_len: 22762.0

  • src_name: Spanish

  • tgt_name: Chinese

  • train_date: 2021-01-04 00:00:00

  • src_alpha2: es

  • tgt_alpha2: zh

  • prefer_old: False

  • short_pair: es-zh

  • helsinki_git_sha: dfdcef114ffb8a8dbb7a3fcf84bde5af50309500

  • transformers_git_sha: 1310e1a758edc8e89ec363db76863c771fbeb1de

  • port_machine: LM0-400-22516.local

  • port_time: 2021-01-04-18:53

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
661a8ab

0 моделей