/ Модель

Характеристики

Контекст
512 токенов
Параметры
54,4 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-en-gmq

ПереводТекст → текст4 профессии

Модель MarianMT переводит английский текст на датский, фарерский, исландский, норвежский и шведский с выбором целевого языка специальным токеном.

524скачиваний за 30 дней1лайквеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Helsinki-NLP/opus-mt-en-gmq — модель машинного перевода из проекта OPUS-MT, опубликованная Helsinki-NLP. Это плотная Transformer-модель архитектуры Marian с 54,4 млн параметров, предназначенная для перевода с английского на северогерманские языки. Она поддерживает датский, фарерский, исландский, норвежский букмол и нюношк, а также шведский; целевой язык задаётся обязательным начальным токеном вида >>id<<. Для обработки текста используется нормализация и SentencePiece с словарями по 32 тыс. токенов; длина контекста — 512 токенов.

Модель подходит для перевода предложений и текстовых фрагментов с английского на указанные языки. В README приведены тестовые результаты для датского, фарерского и исландского, при этом показатели заметно различаются между языками. Модель выпущена под лицензией Apache-2.0.

Сценарии применения

  • перевод английских предложений на датский
  • перевод текстов с английского на исландский или фарерский
  • перевод английских текстов на норвежский букмол и нюношк
  • перевод англоязычных материалов на шведский

Ограничения

Модель выполняет перевод только с английского на перечисленные северогерманские языки; целевой язык необходимо указать начальным токеном. Качество различается по языкам: приведённые в README BLEU-оценки составляют 57,7 для датского, 9,2 для фарерского и 23,8 для исландского.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-gmq

  • source group: English

  • target group: North Germanic languages

  • OPUS readme: eng-gmq

  • model: transformer

  • source language(s): eng

  • target language(s): dan fao isl nno nob nob_Hebr non_Latn swe

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus2m-2020-08-01.zip

  • test set translations: opus2m-2020-08-01.test.txt

  • test set scores: opus2m-2020-08-01.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.eng-dan.eng.dan57.70.724
Tatoeba-test.eng-fao.eng.fao9.20.322
Tatoeba-test.eng-isl.eng.isl23.80.506
Tatoeba-test.eng.multi52.80.688
Tatoeba-test.eng-non.eng.non0.70.196
Tatoeba-test.eng-nor.eng.nor50.30.678
Tatoeba-test.eng-swe.eng.swe57.80.717

System Info:

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
1011a69

0 моделей