/ Модель

Характеристики

Контекст
512 токенов
Параметры
54,7 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-cpf

ПереводТекст → текст3 профессии

Модель OPUS-MT переводит английский текст на гуаделупский, гаитянский и маврикийский креольские языки.

100скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-cpf — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на французско-креольские языки и пиджины: гуаделупский креольский (gcf_Latn), гаитянский креольский (hat) и маврикийский креольский (mfe). Для выбора целевого языка в начале входного текста требуется языковой токен вида `>>id<<` с допустимым кодом языка.

Модель построена на архитектуре Transformer и реализована как MarianMTModel; размер — 54,7 млн параметров, контекст — до 512 токенов. Предобработка включает нормализацию и SentencePiece с словарями spm32k. В опубликованных тестах качество заметно различается по языкам: BLEU 6,2 для гуаделупского креольского, 25,7 для гаитянского и 80,1 для маврикийского; результаты тестов не гарантируют такого же качества на других текстах.

Модель предназначена для перевода текстов и доступна под лицензией Apache-2.0. Метаданные указывают реализации в форматах PyTorch и TensorFlow.

Сценарии применения

  • Перевод английских текстов на гаитянский креольский
  • Перевод английских текстов на маврикийский креольский
  • Перевод английских текстов на гуаделупский креольский
  • Перевод коротких фраз и предложений с выбором целевого языка через языковой токен

Ограничения

Для гуаделупского и гаитянского креольского опубликованные тестовые оценки ниже, чем для маврикийского; качество на конкретных текстах может отличаться. Для указания целевого языка нужен корректный начальный токен `>>id<<`.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-cpf

  • source group: English

  • target group: Creoles and pidgins, French‑based

  • OPUS readme: eng-cpf

  • model: transformer

  • source language(s): eng

  • target language(s): gcf_Latn hat mfe

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus-2020-07-26.zip

  • test set translations: opus-2020-07-26.test.txt

  • test set scores: opus-2020-07-26.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.eng-gcf.eng.gcf6.20.262
Tatoeba-test.eng-hat.eng.hat25.70.451
Tatoeba-test.eng-mfe.eng.mfe80.10.900
Tatoeba-test.eng.multi15.90.354

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
dfb62ec

0 моделей