/ Модель

Характеристики

Контекст
512 токенов
Параметры
53,9 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-aav

ПереводТекст → текст3 профессии

Трансформер Marian для перевода с английского на ряд австроазиатских языков, включая кхмерский, монский, вьетнамский и хасийский.

77скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-aav — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она преобразует текст с английского языка на несколько австроазиатских языков: хасийский, кхмерский, монский и вьетнамский; для некоторых языков доступны варианты письма латиницей или ханты. Это трансформер Marian с 53,9 млн параметров, SentencePiece-токенизацией и контекстом до 512 токенов. Для выбора языка перевода перед текстом требуется указать специальный токен целевого языка в формате `>>id<<`.

Модель предназначена для перевода предложений и текстовых фрагментов. В README приведены тестовые результаты на наборах Tatoeba для хасийского и кхмерского, где значения BLEU низкие, поэтому качество для этих языковых пар может быть ограниченным. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Сценарии применения

  • перевод английских фраз на кхмерский
  • перевод английского текста на вьетнамский
  • перевод английских предложений на монский
  • перевод с английского на хасийский
  • создание многоязычного перевода коротких текстовых фрагментов

Ограничения

Для выбора целевого языка необходимо добавлять в начало текста соответствующий токен вида `>>id<<`. В README приведены низкие значения BLEU на тестах Tatoeba для хасийского и кхмерского, что указывает на возможные ограничения качества перевода.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-aav

  • source group: English

  • target group: Austro-Asiatic languages

  • OPUS readme: eng-aav

  • model: transformer

  • source language(s): eng

  • target language(s): hoc hoc_Latn kha khm khm_Latn mnw vie vie_Hani

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus-2020-07-26.zip

  • test set translations: opus-2020-07-26.test.txt

  • test set scores: opus-2020-07-26.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.eng-hoc.eng.hoc0.10.033
Tatoeba-test.eng-kha.eng.kha0.40.043
Tatoeba-test.eng-khm.eng.khm0.20.242
Tatoeba-test.eng-mnw.eng.mnw0.80.003
Tatoeba-test.eng.multi16.10.311
Tatoeba-test.eng-vie.eng.vie33.20.508

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
5ffc7b2

0 моделей