/ Модель

Характеристики

Контекст
512 токенов
Параметры
52,9 млн
Лицензия
Apache 2.0
Архитектура
marian · dense
Опубликована
23 янв 2023

opus-mt-eng-nor

ПереводТекст → текст3 профессии

Модель MarianMT для перевода английского текста на норвежский букмол и нюнорск.

122скачиваний за 30 дней3лайкавеса обновлены23 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

jkorsvik/opus-mt-eng-nor — модель машинного перевода на базе архитектуры MarianMT, созданная проектом OPUS/Tatoeba Challenge и опубликованная пользователем jkorsvik. Она переводит текст с английского на норвежский букмол и нюнорск; для выбора варианта перевода перед предложением требуется указать целевой языковой токен, например соответствующий код языка. Модель содержит 52,9 млн параметров, использует Transformer и SentencePiece с нормализацией текста, а её контекст ограничен 512 токенами.

Модель обучена на данных OPUS с обратными переводами, включая Tatoeba и материалы Википедии и других текстовых проектов. В README приведены оценки BLEU 56,4 для букмола и 40,3 для нюнорска на указанных тестовых наборах Tatoeba. Подходит для перевода предложений и текстовых фрагментов с английского на обе письменные формы норвежского. Распространяется по лицензии Apache-2.0.

Сценарии применения

  • перевод английских предложений на норвежский букмол
  • перевод английских текстов на нюнорск
  • локализация коротких текстов с английского для Норвегии

Ограничения

Контекст ограничен 512 токенами; перед входным текстом требуется целевой языковой токен, чтобы выбрать букмол или нюнорск. В приведённых тестовых оценках качество для нюнорска ниже, чем для букмола.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

eng-nor

  • source language name: English

  • target language name: Norwegian

  • OPUS readme: README.md

  • model: transformer-align

  • source language code: en

  • target language codes: nb, nn

  • dataset: opus with backtranslations

  • release date: 2021-04-20

  • pre-processing: normalization + SentencePiece (spm32k,spm32k)

  • download original weights: opus+bt-2021-04-20.zip

  • a sentence-initial language token is required in the form of >>id<<(id = valid, usually three-letter target language ID)

  • Training data:

    • eng-nno: Tatoeba-train (1661769) wikipedia.aa.nno-eng (995603) wikipedia.ab.nno-eng (605107) wikiquote.aa.nno-eng (22626)
    • eng-nob: Tatoeba-train (11525999) wikibooks.aa.nob-eng (37901) wikinews.aa.nob-eng (8706) wikipedia.aa.nob-eng (992563) wikipedia.ab.nob-eng (992772) wikipedia.ac.nob-eng (992621) wikipedia.ad.nob-eng (992828) wikipedia.ae.nob-eng (992812) wikipedia.af.nob-eng (976715) wikiquote.aa.nob-eng (10443) wikisource.aa.nob-eng (279891)
  • Validation data:

    • eng-nno: Tatoeba-dev, 505
    • eng-nob: Tatoeba-dev, 5189
    • total-size-shuffled: 1505
    • devset-selected: top 1505 lines of Tatoeba-dev.src.shuffled
  • Test data:

    • Tatoeba-test.eng-nno: 460/3428
    • Tatoeba-test.eng-nob: 4539/36110
    • Tatoeba-test.eng-nor: 4999/39547
  • test set translations file: test.txt

  • test set scores file: eval.txt

  • BLEU-scores |Test set|score| |---|---| |Tatoeba-test.eng-nob|56.4| |Tatoeba-test.eng-nor|55.4| |Tatoeba-test.eng-nno|40.3|

  • chr-F-scores |Test set|score| |---|---| |Tatoeba-test.eng-nob|0.716| |Tatoeba-test.eng-nor|0.71| |Tatoeba-test.eng-nno|0.615|

System Info:

  • hf_name: eng-nor
  • source_languages: en
  • target_languages: nb,nn
  • opus_readme_url: https://object.pouta.csc.fi/Tatoeba-MT-models/eng-nor/opus+bt-2021-04-20.zip/README.md
  • original_repo: Tatoeba-Challenge
  • tags: ['translation']
  • languages: ['en', 'nb', 'nn']
  • src_constituents: ['eng']
  • tgt_constituents: ['nob', 'nno']
  • src_multilingual: False
  • tgt_multilingual: True
  • helsinki_git_sha: 59400fea592520766f9910390155681bc930dbc4
  • transformers_git_sha: fd5cdaeea6eafac32e9d967327bfa3dc0e0d962d
  • port_machine: DESKTOP-6CPR2HH
  • port_time: 2023-01-23-21:07

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MarianMTModel
Ревизия весов
9858ea0

0 моделей