/ Модель

Характеристики

Контекст
512 токенов
Параметры
55,4 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-bat

ПереводТекст → текст3 профессии

Трансформер Marian для перевода текста с английского на несколько балтийских языков с выбором целевого языка специальным токеном.

154скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-bat — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на несколько балтийских языков: литовский, латышский, жемайтский, латгальский и прусский. Для выбора целевого языка перед текстом требуется указать токен вида >>id<< с допустимым кодом языка.

Модель основана на трансформере Marian и содержит 55,4 млн параметров. Она использует нормализацию текста и SentencePiece с общим словарём на 32 тыс. токенов; длина контекста — 512 токенов. В карточке приведены оценки BLEU и chr-F на тестовых наборах новостных текстов. Модель принимает и выдаёт текст, а веса доступны в форматах PyTorch и TensorFlow.

Лицензия — Apache-2.0. Приведённые тестовые оценки относятся к указанным наборам данных и не гарантируют такое же качество для других жанров; редкие балтийские языки могут иметь ограниченное покрытие.

Сценарии применения

  • перевод английских текстов на литовский
  • перевод английских текстов на латышский
  • перевод на жемайтский и латгальский
  • перевод английских текстов на прусский
  • машинный перевод новостных текстов на балтийские языки

Ограничения

Качество подтверждено тестами на ограниченном наборе новостных данных и может отличаться на других жанрах. Для выбора целевого языка требуется добавить соответствующий языковой токен в начало текста.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-bat

  • source group: English

  • target group: Baltic languages

  • OPUS readme: eng-bat

  • model: transformer

  • source language(s): eng

  • target language(s): lav lit ltg prg_Latn sgs

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
newsdev2017-enlv-englav.eng.lav24.00.546
newsdev2019-enlt-englit.eng.lit20.90.533
newstest2017-enlv-englav.eng.lav18.30.506
newstest2019-enlt-englit.eng.lit13.60.466
Tatoeba-test.eng-lav.eng.lav42.80.652
Tatoeba-test.eng-lit.eng.lit37.10.650
Tatoeba-test.eng.multi37.00.616
Tatoeba-test.eng-prg.eng.prg0.50.130
Tatoeba-test.eng-sgs.eng.sgs4.10.178

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
25dcda3

0 моделей