/ Модель

Характеристики

Контекст
512 токенов
Параметры
42,5 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
2 мар 2022

opus-mt-gmq-gmq

ПереводТекст → текст3 профессии

Модель OPUS-MT переводит текст между датским, фарерским, исландским, норвежским и шведским языками.

116скачиваний за 30 дней2лайкавеса обновлены16 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Helsinki-NLP OPUS-MT gmq-gmq предназначена для перевода между северогерманскими языками. Она разработана в рамках проекта OPUS-MT на архитектуре Transformer и реализована как MarianMTModel; содержит около 42,5 млн параметров и принимает текстовые последовательности длиной до 512 токенов.

Модель поддерживает датский, фарерский, исландский, норвежский букмол, норвежский нюношк и шведский. Перед переводом применяются нормализация и SentencePiece с моделью токенизатора на 32 тыс. элементов; для выбора языка перевода перед текстом требуется указать токен вида >>id<<. Модель подходит для перевода предложений между поддерживаемыми языками, но качество различается по языковым парам: в приведённых тестах BLEU варьируется от 8,1 для датско-фарерского до 62,8 для датско-норвежского.

Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Сценарии применения

  • перевод с датского на шведский
  • перевод с норвежского букмола на исландский
  • перевод с фарерского на датский
  • перевод между букмолом и нюношком
  • перевод коротких текстов между северогерманскими языками

Ограничения

Качество зависит от языковой пары: в приведённых тестах особенно низкий BLEU для датско-фарерского перевода. Для указания целевого языка требуется префикс вида >>id<<.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gmq-gmq

  • source group: North Germanic languages

  • target group: North Germanic languages

  • OPUS readme: gmq-gmq

  • model: transformer

  • source language(s): dan fao isl nno nob swe

  • target language(s): dan fao isl nno nob swe

  • model: transformer

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • a sentence initial language token is required in the form of >>id<< (id = valid target language ID)

  • download original weights: opus-2020-07-27.zip

  • test set translations: opus-2020-07-27.test.txt

  • test set scores: opus-2020-07-27.eval.txt

Benchmarks

testsetBLEUchr-F
Tatoeba-test.dan-fao.dan.fao8.10.173
Tatoeba-test.dan-isl.dan.isl52.50.827
Tatoeba-test.dan-nor.dan.nor62.80.772
Tatoeba-test.dan-swe.dan.swe67.60.802
Tatoeba-test.fao-dan.fao.dan11.30.306
Tatoeba-test.fao-isl.fao.isl26.30.359
Tatoeba-test.fao-nor.fao.nor36.80.531
Tatoeba-test.fao-swe.fao.swe0.00.632
Tatoeba-test.isl-dan.isl.dan67.00.739
Tatoeba-test.isl-fao.isl.fao14.50.243
Tatoeba-test.isl-nor.isl.nor51.80.674
Tatoeba-test.isl-swe.isl.swe100.01.000
Tatoeba-test.multi.multi64.70.782
Tatoeba-test.nor-dan.nor.dan65.60.797
Tatoeba-test.nor-fao.nor.fao9.40.362
Tatoeba-test.nor-isl.nor.isl38.80.587
Tatoeba-test.nor-nor.nor.nor51.90.721
Tatoeba-test.nor-swe.nor.swe66.50.789
Tatoeba-test.swe-dan.swe.dan67.60.802
Tatoeba-test.swe-fao.swe.fao0.00.268
Tatoeba-test.swe-isl.swe.isl65.80.914
Tatoeba-test.swe-nor.swe.nor60.60.755

System Info:

  • hf_name: gmq-gmq

  • source_languages: gmq

  • target_languages: gmq

  • opus_readme_url: https://github.com/Helsinki-NLP/Tatoeba-Challenge/tree/master/models/gmq-gmq/README.md

  • original_repo: Tatoeba-Challenge

  • tags: ['translation']

  • languages: ['da', 'nb', 'sv', 'is', 'nn', 'fo', 'gmq']

  • src_constituents: {'dan', 'nob', 'nob_Hebr', 'swe', 'isl', 'nno', 'non_Latn', 'fao'}

  • tgt_constituents: {'dan', 'nob', 'nob_Hebr', 'swe', 'isl', 'nno', 'non_Latn', 'fao'}

  • src_multilingual: True

  • tgt_multilingual: True

  • prepro: normalization + SentencePiece (spm32k,spm32k)

  • url_model: https://object.pouta.csc.fi/Tatoeba-MT-models/gmq-gmq/opus-2020-07-27.zip

  • url_test_set: https://object.pouta.csc.fi/Tatoeba-MT-models/gmq-gmq/opus-2020-07-27.test.txt

  • src_alpha3: gmq

  • tgt_alpha3: gmq

  • short_pair: gmq-gmq

  • chrF2_score: 0.782

  • bleu: 64.7

  • brevity_penalty: 0.9940000000000001

  • ref_len: 49385.0

  • src_name: North Germanic languages

  • tgt_name: North Germanic languages

  • train_date: 2020-07-27

  • src_alpha2: gmq

  • tgt_alpha2: gmq

  • prefer_old: False

  • long_pair: gmq-gmq

  • helsinki_git_sha: 480fcbe0ee1bf4774bcbe6226ad9f58e63f6c535

  • transformers_git_sha: 2207e5d8cb224e954a7cba69fa4ac2309e9ff30b

  • port_machine: brutasse

  • port_time: 2020-08-21-14:41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
1bf53e5

0 моделей