/ Модель

Характеристики

Контекст
512 токенов
Параметры
58,3 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-ja-ms

ПереводТекст → текст3 профессии

Модель MarianMT переводит японский текст на малайский и его указанные языковые варианты.

126скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-ja-ms — модель машинного перевода из семейства MarianMT, опубликованная Helsinki-NLP на основе проекта OPUS-MT. Она переводит текст с японского на малайский. Модель содержит 58,3 млн параметров, использует архитектуру Transformer и SentencePiece с подсловным словарём на 32 тыс. токенов; для малайского языка в README указаны варианты Malay, включая индонезийский и малайский латинской графикой. Нативная длина контекста — 512 токенов.

Модель подходит для перевода предложений и коротких текстов, например, при локализации материалов или подготовке чернового перевода. В README приведена оценка BLEU 21,5 на тестовом наборе Tatoeba; это ориентир для указанного теста, а не гарантия качества на других текстах. Требуется начальный токен целевого языка вида `>>id<<`. Лицензия — Apache-2.0.

Сценарии применения

  • перевод предложений с японского на малайский
  • черновой перевод японских описаний и сообщений
  • локализация коротких текстов с японского для малайскоязычной аудитории

Ограничения

Нативный контекст ограничен 512 токенами, а для выбора целевого языка требуется начальный языковой токен. Указанная оценка BLEU относится только к тестовому набору Tatoeba и не гарантирует качество для иных текстов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

jpn-msa

  • source group: Japanese

  • target group: Malay (macrolanguage)

  • OPUS readme: jpn-msa

  • model: transformer-align

  • source language(s): jpn jpn_Hani jpn_Hira jpn_Kana

  • target language(s): ind zlm_Latn zsm_Latn

  • model: transformer-align

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus-2020-06-17.zip

  • test set translations: opus-2020-06-17.test.txt

  • test set scores: opus-2020-06-17.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.jpn.msa21.50.469

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
173022e

0 моделей