/ Модель

Характеристики

Контекст
512 токенов
Параметры
54,8 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-cel

ПереводТекст → текст3 профессии

Модель OPUS-MT переводит английский текст на бретонский, корнский, валлийский, шотландский гэльский, ирландский и мэнский языки.

113скачиваний за 30 дней1лайквеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-cel — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMTModel. Она переводит текст с английского на один из шести кельтских языков: бретонский, корнский, валлийский, шотландский гэльский, ирландский или мэнский. Для выбора языка перевода перед текстом требуется добавить языковой токен вида `>>id<<` с допустимым идентификатором целевого языка.

Модель содержит 54,8 млн параметров, использует нормализацию и SentencePiece с отдельными словарями по 32 тыс. токенов для входа и выхода; длина контекста — до 512 токенов. Контрольные результаты различаются по языкам: в README приведены BLEU 31,0 для валлийского, 11,5 для бретонского и 0,3 для корнского, поэтому качество может быть слабым для отдельных языков и текстов. Модель предназначена для перевода, а не для генерации произвольных ответов. Лицензия — Apache-2.0.

Сценарии применения

  • перевод английских фраз на валлийский
  • перевод английских текстов на ирландский
  • перевод английских текстов на шотландский гэльский
  • перевод английских текстов на бретонский
  • перевод английских фраз на корнский или мэнский

Ограничения

Качество заметно различается между целевыми языками: приведённый в README показатель BLEU для корнского составляет 0,3, а для бретонского — 11,5. Для задания целевого языка необходим специальный токен `>>id<<`.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-cel

  • source group: English

  • target group: Celtic languages

  • OPUS readme: eng-cel

  • model: transformer

  • source language(s): eng

  • target language(s): bre cor cym gla gle glv

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.eng-bre.eng.bre11.50.338
Tatoeba-test.eng-cor.eng.cor0.30.095
Tatoeba-test.eng-cym.eng.cym31.00.549
Tatoeba-test.eng-gla.eng.gla7.60.317
Tatoeba-test.eng-gle.eng.gle35.90.582
Tatoeba-test.eng-glv.eng.glv9.90.454
Tatoeba-test.eng.multi18.00.342

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
e794385

0 моделей