/ Модель

Характеристики

Контекст
512 токенов
Параметры
41,5 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-cpp-cpp

ПереводТекст → текст3 профессии

Модель OPUS-MT переводит текст между вариантами креольских языков на португальской основе.

89скачиваний за 30 дней0лайковвеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-cpp-cpp — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMTModel. Она предназначена для перевода между вариантами креольских языков на португальской основе; README описывает многокомпонентное направление и приводит результаты тестирования на наборах Tatoeba. Для выбора направления требуется начальный токен языка вида >>id<<.

Модель содержит 41,5 млн параметров, принимает текст, использует нормализацию и SentencePiece с словарём 32 тыс. токенов и имеет контекст длиной до 512 токенов. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Сценарии применения

  • перевод текста между индонезийским и папьяменто
  • перевод между вариантами креольских языков на португальской основе
  • машинный перевод коротких фраз на языках, охваченных моделью
  • эксперименты с переводом для мало представленных языков

Ограничения

README показывает неоднородные результаты на тестах Tatoeba: BLEU составляет 0,7 на одном наборе и 31,7 на паре msa–pap; качество зависит от языковой пары. Для выбора целевого языка требуется корректный начальный токен.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

cpp-cpp

  • source group: Creoles and pidgins, Portuguese-based

  • target group: Creoles and pidgins, Portuguese-based

  • OPUS readme: cpp-cpp

  • model: transformer

  • source language(s): ind pap

  • target language(s): ind pap

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus-2020-07-26.zip

  • test set translations: opus-2020-07-26.test.txt

  • test set scores: opus-2020-07-26.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.msa-msa.msa.msa0.70.149
Tatoeba-test.msa-pap.msa.pap31.70.577
Tatoeba-test.multi.multi21.10.369
Tatoeba-test.pap-msa.pap.msa17.70.197

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
e075b5c

0 моделей