I.6Перевод и языковая адаптация

Helsinki-NLP/opus-mt-ja-it — модель машинного перевода японского языка на итальянский из коллекции OPUS-MT, опубликованная Helsinki-NLP. Это плотная Transformer-модель семейства Marian с архитектурой MarianMTModel и 58,4 млн параметров; репозиторий содержит веса PyTorch и TensorFlow. Модель принимает японский текст и генерирует его перевод на итальянский. Для предобработки используются нормализация и SentencePiece с словарями размером 32 тыс. токенов; длина контекста составляет 512 токенов. Модель подходит для перевода отдельных фраз и текстов с японского на итальянский. В карточке приведён результат BLEU 22,8 и chr-F 0,460 на тесте Tatoeba для этой языковой пары. Модель выпущена на условиях лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ko-en — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP на основе проекта Tatoeba-Challenge. Она переводит текст с корейского на английский и построена на архитектуре Transformer-align, представленной в библиотеке Marian. Модель содержит 58,4 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тысячи токенов и рассчитана на контекст до 512 токенов. Модель предназначена для перевода корейских фраз и текстов на английский. В README приведён результат BLEU 41,3 и chr-F 0,588 на наборе Tatoeba-test.kor.eng; эти оценки относятся к указанному тестовому набору и не гарантируют такого же качества на других типах текстов. Репозиторий предоставляет веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP выпустила OPUS-MT ko-es — модель машинного перевода с корейского на испанский на архитектуре Marian (Transformer-align). Она принимает корейский текст и генерирует перевод на испанском; модель предназначена для перевода предложений и текстовых фрагментов между этими языками. Модель содержит 58,4 млн параметров, доступна в форматах PyTorch и TensorFlow и использует нормализацию и SentencePiece с моделями токенизации по 32 тыс. единиц. Указанная длина контекста — 512 токенов. В тесте Tatoeba для пары корейский–испанский приведены BLEU 31,3 и chr-F 0,521. Модель распространяется по лицензии Apache-2.0. Качество перевода может зависеть от тематики, стиля и длины текста; приведённые оценки относятся к указанному тестовому набору.

Helsinki-NLP/opus-mt-lv-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с латышского языка на английский и предназначена для автоматического перевода предложений и текстовых материалов. Модель основана на архитектуре Marian Transformer, использует нормализацию и SentencePiece; содержит 54,8 млн параметров и рассчитана на контекст до 512 токенов. В карточке приведены результаты на тестовых наборах: BLEU 29,9 на newsdev2017, 22,1 на newstest2017 и 53,3 на Tatoeba. Модель поддерживает латышский как исходный язык и английский как целевой. Доступна по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-lv-es — модель машинного перевода на архитектуре Transformer-align из семейства MarianMT, разработанная в рамках проекта OPUS. Она переводит текст с латышского языка на испанский. Модель обучена на данных OPUS; в предварительную обработку входят нормализация текста и SentencePiece. Размер — 55 млн параметров, максимальный контекст — 512 токенов. В тесте JW300.lv.es указаны BLEU 21,7 и chr-F 0,433. Модель подходит для перевода предложений и текстовых фрагментов с латышского на испанский; результаты теста не гарантируют качество для других тематик и типов текста. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-mr-en — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с маратхи (mr) на английский (en) и предназначена для перевода отдельных текстов и интеграции в конвейеры локализации. Модель основана на Transformer-align, использует нормализацию текста и токенизацию SentencePiece; содержит 56,7 млн параметров и имеет контекст 512 токенов. Для тестового набора Tatoeba.mr.en в карточке приведены BLEU 38,2 и chr-F 0,515. Модель распространяется в форматах PyTorch и TensorFlow по лицензии Apache-2.0. Она рассчитана на направление маратхи → английский; качество перевода для других языковых пар не заявлено.

Helsinki-NLP/opus-mt-no-de — модель машинного перевода семейства Marian, разработанная в рамках проекта OPUS. Она переводит текст с норвежского на немецкий; исходные варианты норвежского — букмол и нюнорск. Архитектура — Transformer-align, а размер модели составляет 28,8 млн параметров. Для обработки используются нормализация текста и SentencePiece с словарями по 4 тысячи токенов; длина контекста — 512 токенов. Модель подходит для перевода отдельных фраз и текстов с норвежского на немецкий. В карточке приведён результат BLEU 29,6 на наборе Tatoeba-test.nor.deu. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-om-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с языка оромо (om) на английский (en) и обучена на данных OPUS с архитектурой Transformer, нормализацией текста и токенизацией SentencePiece. Модель построена на MarianMT, содержит 55,8 млн параметров и рассчитана на контекст до 512 токенов. Модель подходит для перевода текстов и фраз с оромо на английский. В карточке приведён результат BLEU 27,3 на тестовом наборе JW300.om.en. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-pl-ar — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMTModel. Она переводит текст с польского на арабский; карточка также указывает вариант арабского arz. Модель содержит 58,4 млн параметров и имеет контекст длиной 512 токенов. Перед переводом текст проходит нормализацию и токенизацию SentencePiece. Для выбора целевого языка требуется начальный токен вида >>id<< с допустимым кодом языка. В тесте Tatoeba для пары польский—арабский указаны BLEU 20,4 и chr-F 0,491. Модель распространяется по лицензии Apache-2.0; доступны форматы PyTorch и TensorFlow.

Helsinki-NLP/opus-mt-pl-es — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с польского языка на испанский и предназначена для интеграции в системы перевода и обработки многоязычных текстов. Модель основана на архитектуре Marian Transformer (MarianMTModel), содержит 55,7 млн параметров и использует нормализацию текста и токенизацию SentencePiece. В README приведены результаты на тесте Tatoeba.pl.es: BLEU 46,9 и chr-F 0,654. Метаданные указывают контекст до 512 токенов и форматы PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0. Она специализирована на направлении польский → испанский; качество для других языковых пар не подтверждено.

Helsinki-NLP/opus-mt-roa-en — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Это трансформер MarianMT примерно на 58,4 млн параметров, обученный переводить тексты с набора романских языков на английский. Поддерживаются, среди прочих, французский, испанский, португальский, итальянский, румынский, каталанский, галисийский и окситанский, а также региональные языки и разновидности; вход нормализуется и токенизируется SentencePiece. Контекст модели — до 512 токенов. Модель подходит для перевода отдельных фраз и текстов с романских языков на английский. В карточке приведены результаты оценки на тестовых наборах, включая BLEU и chr-F; качество зависит от языка, жанра и длины текста. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ro-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с румынского языка на французский. Модель основана на архитектуре Marian Transformer, использует нормализацию и токенизацию SentencePiece; размер — 54,2 млн параметров, контекст — до 512 токенов. Модель предназначена для перевода предложений и текстов общего назначения. В README приведены результаты тестирования на Tatoeba.ro.fr: BLEU 54,5 и chr-F 0,697. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-ROMANCE-en — модель машинного перевода на архитектуре Transformer, реализованная как MarianMTModel. Она переводит на английский с французского, испанского, португальского, итальянского, румынского и ряда других романских языков и их региональных вариантов. Модель содержит 58,4 млн параметров, использует нормализацию и SentencePiece, а её контекст составляет 512 токенов. Модель предназначена для автоматического перевода текстов с перечисленных исходных языков на английский. В карточке приведён результат BLEU 62,2 на тестовом наборе Tatoeba.fr.en; этот показатель относится к указанному тесту и не гарантирует такое же качество на других данных. Доступна под лицензией Apache-2.0.

Helsinki-NLP/opus-mt-sla-en — модель машинного перевода из проекта OPUS-MT, опубликованная Helsinki-NLP. Это плотная модель семейства Marian на архитектуре Transformer с 55,3 млн параметров. Она переводит текст с ряда славянских языков на английский: среди исходных языков указаны белорусский, боснийский, болгарский, кашубский, чешский, хорватский, македонский, польский, русский, русинский, сербский, силезский, словенский, верхне- и нижнелужицкий и украинский. Для токенизации используется SentencePiece с словарями spm32k; длина контекста — 512 токенов. Модель подходит для перевода текстов со славянских языков на английский, включая обработку нескольких исходных языков одной моделью. В README приведены оценки BLEU и chr-F на тестовых наборах для чешского и ряда других языковых пар; результаты зависят от языка, жанра и качества текста. Модель доступна в форматах PyTorch и TensorFlow по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-sv-fr — модель машинного перевода на базе архитектуры Marian Transformer, созданная проектом OPUS и опубликованная Helsinki-NLP. Она переводит текст со шведского языка на французский. Модель содержит 54,9 млн параметров, использует нормализацию и токенизацию SentencePiece; максимальная длина контекста — 512 токенов. Модель предназначена для перевода фраз и текстов общего назначения. В карточке приведён результат BLEU 59,7 и chr-F 0,731 на наборе Tatoeba.sv.fr. Доступны веса PyTorch и TensorFlow. Лицензия Apache-2.0 разрешает использование, изменение и распространение с соблюдением её условий.

Helsinki-NLP/opus-mt-sv-ZH — модель машинного перевода на архитектуре MarianMT, разработанная Helsinki-NLP для перевода со шведского языка на китайский. Она использует архитектуру Transformer и SentencePiece; размер составляет 56,9 млн параметров, максимальная длина контекста — 512 токенов. Для выбора варианта китайского языка перед текстом требуется указать целевой языковой токен вида >>id<<. Модель обучена на данных OPUS; в карточке приведены результаты на тесте bible-uedin.sv.zh: BLEU 24,2 и chr-F 0,342. Доступны веса PyTorch и TensorFlow. Лицензия Apache-2.0.

Модель машинного перевода из проекта OPUS-MT, разработанного исследовательской группой Language Technology Research Group Хельсинкского университета. Архитектура Marian Transformer-big содержит 163,1 млн параметров; модель преобразует текст на немецком, английском, французском, португальском или испанском в один из тюркских языков. Для выбора целевого языка используются специальные метки, например турецкого, казахского, татарского или узбекского. Модель подходит для перевода текстов и локализации материалов между указанными европейскими и тюркскими языками, включая языки с ограниченными ресурсами. Она обучена на данных OPUS и доступна через Transformers в форматах PyTorch и Safetensors. Контекст модели — до 1024 токенов. Карточка не приводит количественных оценок качества. Результаты для малоресурсных языков и длинных текстов могут требовать проверки; в описании также отмечено, что исходный язык обозначен как неизвестный из набора поддерживаемых языков. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-tc-big-de-es — модель машинного перевода, разработанная группой Language Technology Research Group Хельсинкского университета в рамках проекта OPUS-MT. Она переводит текст с немецкого языка на испанский и предназначена для перевода предложений и текстов в приложениях и рабочих процессах обработки языка. Модель построена на архитектуре transformer-big и реализована как MarianMTModel; в карточке указано 158,9 млн параметров и контекст до 1024 токенов. Она обучена на данных OPUS с предобработкой SentencePiece и доступна в форматах PyTorch, Safetensors и TensorFlow. В тестах карточки приведены результаты на наборах Tatoeba, FLORES-101 и Newssyscomb2009. Модель специализирована на одной языковой паре и направление перевода — с немецкого на испанский. Лицензия — CC-BY-4.0; при использовании необходимо соблюдать её условия атрибуции.

Helsinki-NLP разработала эту модель в рамках проекта OPUS-MT для машинного перевода с английского языка на латышский. Она основана на архитектуре Transformer-big и реализована как MarianMTModel; первоначально модель обучалась в Marian NMT на данных OPUS с применением процедур OPUS-MT-train, а затем была преобразована для использования с PyTorch и Transformers. Для токенизации используется SentencePiece с моделями словаря spm32k для обоих языков. Модель предназначена для перевода английских предложений и текстов на латышский, в том числе в приложениях и сервисах перевода. В README приведены результаты оценки на Tatoeba, FLORES-101 и новостном тестовом наборе. Размер модели — около 160,4 млн параметров, заявленная длина контекста — 1024 токена. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — CC-BY-4.0.

Helsinki-NLP/opus-mt-tc-big-en-tr — модель машинного перевода проекта OPUS-MT, разработанная на основе Marian NMT и опубликованная в формате Transformers. Она переводит текст с английского языка на турецкий; архитектура — Transformer-big, число параметров — 159,1 млн. Для токенизации используется SentencePiece с вокабуляром 32k. Модель подходит для перевода предложений и текстов с английского на турецкий, в том числе в пакетах Transformers. В карточке приведены оценки на тестовых наборах Tatoeba, FLORES-101 и newsdev2016. Контекст модели — до 1024 токенов. Модель выпущена в рамках OPUS-MT и обучена на данных OPUS с использованием указанного в карточке набора opusTCv20210807+bt. Лицензия — CC BY 4.0. Это направленная модель перевода: она предназначена для пары английский→турецкий; качество может различаться в зависимости от жанра и тематики текста.

Helsinki-NLP/opus-mt-tc-big-fi-en — модель машинного перевода проекта OPUS-MT, разработанная на базе Marian NMT и опубликованная Helsinki-NLP. Она переводит текст с финского языка на английский и предназначена для интеграции в сервисы перевода и прикладные приложения. Архитектура — крупная версия Transformer в реализации Marian; модель содержит около 159,9 млн параметров, использует токенизацию SentencePiece с словарями по 32 тыс. токенов и имеет контекст до 1024 токенов. Модель обучена на данных OPUS, включая opusTCv20210807+bt. Для пары финский—английский приведены результаты на тестах Tatoeba, FLORES-101 и newsdev2015. Доступны веса в форматах PyTorch, SafeTensors и TensorFlow. Лицензия — CC BY 4.0.

Helsinki-NLP/opus-mt-tc-big-gmw-gmw — модель машинного перевода проекта OPUS-MT, разработанная группой Language Technology Research Group Хельсинкского университета. Она переводит между языками западногерманской группы; в карточке перечислены пары с африкаанс, немецким, английским, фризским, нижненемецким, нидерландским и другими языками, включая перевод внутри одного языка и многоязычный режим. Это модель архитектуры Transformer-big на базе MarianMT с 137,2 млн параметров и контекстом до 1024 токенов. Обучающие данные взяты из OPUS. Веса доступны в форматах PyTorch, safetensors и TensorFlow. Модель подходит для перевода текстов между поддерживаемыми языками и языковыми вариантами. Карточка предупреждает о рисках, ограничениях и смещениях, но не приводит конкретных подробностей. Модель распространяется по лицензии CC-BY-4.0; при использовании необходимо соблюдать её условия атрибуции.

Helsinki-NLP/opus-mt-tc-big-hu-en — модель машинного перевода проекта OPUS-MT, разработанная на базе Marian NMT и опубликованная Helsinki-NLP. Она переводит текст с венгерского на английский и предназначена для интеграции в приложения и сервисы перевода. Модель использует архитектуру Transformer-big, около 159 млн параметров и токенизацию SentencePiece; длина контекста — до 1024 токенов. Для обучения использованы данные OPUS и корпус opusTCv20210807+bt. В README приведены оценки на тестовых наборах Tatoeba, FLORES-101 и Newssyscomb2009. Веса доступны в форматах PyTorch, Safetensors и TensorFlow. Лицензия — CC BY 4.0; при использовании следует учитывать требования атрибуции. Модель предназначена для перевода в направлении венгерский → английский, поэтому не следует полагаться на неё для обратного перевода или других языковых пар без отдельной проверки.

OPUS-MT — модель машинного перевода проекта Helsinki-NLP для перевода с итальянского на английский. Она построена на архитектуре Transformer big и реализована как MarianMT; модель обучена на данных OPUS с использованием конвейера OPUS-MT-train, включая обратный перевод. Токенизация выполняется SentencePiece с словарями spm32k для обоих языков. Модель предназначена для перевода предложений и текстов с итальянского языка на английский. В карточке приведены результаты на наборах Tatoeba, FLORES-101 и Newstest2009. Число параметров — 156,4 млн, длина контекста — 1024 токена. Доступны веса PyTorch и TensorFlow; модель конвертирована из Marian в формат Transformers. Лицензия — CC BY 4.0. Качество зависит от тематики и стиля исходного текста; модель настроена на направление итальянский—английский и не предназначена для перевода в обратном направлении.

Модель OPUS-MT для машинного перевода с корейского языка на английский. Её разработала группа Language Technology Research Group Хельсинкского университета в рамках проекта OPUS-MT. Модель основана на архитектуре Marian transformer-big, содержит 133,4 млн параметров и обучена на данных OPUS с предварительной обработкой SentencePiece. Репозиторий содержит варианты весов для PyTorch, safetensors и TensorFlow; длина контекста — до 1024 токенов. Модель предназначена для перевода корейских предложений и текстов на английский. В карточке приведены результаты оценки на Tatoeba test 2021 и FLORES-101 devtest; качество зависит от тематики и особенностей исходного текста, поэтому для важных переводов нужна проверка человеком. Лицензия — CC-BY-4.0.

Helsinki-NLP/opus-mt-tc-big-pt-zle — нейросетевая модель машинного перевода проекта OPUS-MT, разработанная на основе Marian NMT и опубликованная в формате Transformers. Она переводит текст с португальского на русский и украинский языки; для выбора целевого языка используются специальные метки. Модель содержит 163,5 млн параметров, её контекстное окно составляет 1024 токена. Модель подходит для перевода отдельных фраз и текстов с португальского языка на русский или украинский. В карточке приведены результаты тестирования на Tatoeba и FLORES-101. Данные обучения взяты из OPUS; качество перевода может зависеть от тематики и отличаться на текстах, не похожих на тестовые наборы. Лицензия — CC BY 4.0.

Helsinki-NLP представляет opus-mt-tc-big-tr-en — модель машинного перевода с турецкого на английский из проекта OPUS-MT. Она построена на архитектуре Transformer-big Marian NMT, содержит 159,1 млн параметров и использует токенизацию SentencePiece с словарями по 32 тыс. токенов. Модель обучена на данных OPUS, включая opusTCv20210807+bt, и доступна через Transformers; веса представлены в форматах PyTorch, Safetensors и TensorFlow. Модель предназначена для перевода турецких текстов на английский, например предложений и материалов общего характера. В README приведены результаты оценки на наборах Tatoeba, FLORES-101 и newsdev2016. Лицензия — CC BY 4.0; при использовании авторы просят цитировать публикации проекта OPUS-MT.

Helsinki-NLP/opus-mt-tc-big-zle-de — модель машинного перевода проекта OPUS-MT, разработанная на базе Marian NMT и опубликованная в формате PyTorch для Transformers. Она переводит с белорусского, русского и украинского языков на немецкий. Модель использует архитектуру Transformer-big, токенизацию SentencePiece и содержит 163,3 млн параметров; указанная длина контекста — 1024 токена. Модель предназначена для перевода предложений и текстов с восточнославянских языков на немецкий, в том числе в сервисах перевода и приложениях на Transformers. В README приведены результаты проверки на тестовых наборах Tatoeba для белорусского, русского и украинского языков. Модель распространяется по лицензии CC BY 4.0.

Helsinki-NLP разработала эту модель в рамках проекта OPUS-MT для машинного перевода с восточнославянских языков на португальский. Она основана на архитектуре Marian и варианте Transformer-big; содержит 163,5 млн параметров и принимает последовательности длиной до 1024 токенов. Модель преобразует текст на русском или украинском языке в португальский. Для обучения использованы данные OPUS, включая opusTCv20210807; применяется токенизация SentencePiece с моделями словаря spm32k. В опубликованных тестах Tatoeba указаны BLEU 42,8 для перевода с русского и 45,2 с украинского на португальский. Весовые файлы доступны в форматах PyTorch и safetensors. Лицензия — CC BY 4.0; при использовании следует учитывать требования атрибуции.

Helsinki-NLP/opus-mt-tc-big-zls-en — модель машинного перевода проекта OPUS-MT, разработанная на основе Marian NMT и опубликованная Helsinki-NLP. Она переводит текст с южнославянских языков на английский: среди исходных языков указаны боснийский, болгарский, хорватский, македонский, словенский, сербский, а также варианты сербского и хорватско-сербского. Архитектура — Transformer-big на базе MarianMT, около 162 млн параметров; для токенизации используется SentencePiece. Метаданные указывают контекст до 1024 токенов. Модель предназначена для перевода предложений и текстов с поддерживаемых южнославянских языков на английский. Она обучена на данных OPUS, включая opusTCv20210807+bt, и имеет опубликованные результаты оценки на наборах Tatoeba. Доступны веса PyTorch, Safetensors и TensorFlow. Лицензия — CC BY 4.0; при использовании следует соблюдать её условия и приводить атрибуцию.