I.6Перевод и языковая адаптация

Helsinki-NLP/opus-mt-en-sv — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на шведский и предназначена для автоматического перевода предложений и текстовых фрагментов. Модель основана на архитектуре Transformer-align и реализована как MarianMTModel; содержит 54,1 млн параметров и имеет контекст длиной 512 токенов. Для предварительной обработки используются нормализация текста и SentencePiece, а обучение связано с корпусом OPUS. В README приведён результат BLEU 60,1 и chr-F 0,736 на тестовом наборе Tatoeba.en.sv. Модель распространяется по лицензии Apache-2.0. Она рассчитана на перевод в одном направлении — с английского на шведский; приведённые тестовые оценки не гарантируют аналогичное качество на любых текстах и предметных областях.

shhossain/opus-mt-en-to-bn — модель машинного перевода, дообученная автором shhossain на основе Helsinki-NLP/opus-mt-en-inc для перевода с английского на бенгальский язык (Bangla). Она построена на архитектуре MarianMT, содержит 56,8 млн параметров и рассчитана на контекст до 512 токенов. Модель подходит для перевода отдельных фраз и текстов в приложениях на базе Transformers. Модель принимает английский текст и выдаёт перевод на бенгальском. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0. README упоминает дообучение на указанной базовой модели, а метаданные связывают модель с набором данных OPUS-100.

Helsinki-NLP разработала opus-mt-en-umb — модель машинного перевода с английского языка на умбунду. Это плотная модель архитектуры MarianMT на базе Transformer, обученная на данных OPUS; для предварительной обработки используются нормализация и SentencePiece. Модель содержит 55,2 млн параметров, её контекст составляет 512 токенов, доступны веса в форматах PyTorch и TensorFlow. Модель предназначена для перевода текстов с английского на умбунду. В карточке приведён результат BLEU 28,6 и chr-F 0,510 на тестовом наборе JW300.en.umb. Модель распространяется по лицензии Apache-2.0.

gaudi/opus-mt-en-zh-ctranslate2 — конвертированная в формат CTranslate2 модель машинного перевода, основанная на Opus-MT от Helsinki-NLP. Репозиторий подготовлен с использованием CTranslate2 и работы michaelfeil; архитектура относится к семейству Marian и использует схему «кодировщик—декодировщик». Модель предназначена для перевода с английского на китайский. Формат CTranslate2 рассчитан на ускоренный вывод и снижение потребления памяти на CPU и GPU; README указывает режимы вычислений int8 для CPU и int8_float16 для CUDA. Приведённые в карточке бенчмарки относятся к другим общим конфигурациям Opus-MT, поэтому их показатели не подтверждают скорость именно этой модели. README также сообщает о возможном снижении качества перевода после конвертации и квантования. Лицензия — Apache-2.0.

Карточка модели mijuanlo/opus-mt-es-en на Hugging Face совпадает с карточкой Helsinki-NLP/opus-mt-es-en, поэтому описание составлено по ней. Helsinki-NLP/opus-mt-es-en — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с испанского на английский; направление перевода одноязычное в смысле пары языков: испанский → английский. Модель основана на архитектуре Transformer и реализована как MarianMTModel. Размер — 58,4 млн параметров, длина контекста — 512 токенов. Для предобработки применяются нормализация текста и SentencePiece с словарями по 32 тыс. элементов. В карточке приведены результаты на нескольких тестовых наборах новостных текстов. Подходит для перевода испанских фраз и документов на английский, в том числе в составе приложений на Transformers. Модель не предназначена для обратного перевода с английского на испанский; качество может зависеть от тематики и стиля исходного текста. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-gl — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с испанского на галисийский и обратно не предназначена: направление перевода — только испанский → галисийский. Модель построена на архитектуре Marian Transformer; использует нормализацию и SentencePiece с словарями по 4 тыс. токенов. Размер — 28,1 млн параметров, контекст — 512 токенов. Модель подходит для перевода отдельных фраз и текстов между испанским и галисийским, в том числе для локализации и предварительного перевода материалов. В карточке приведён результат BLEU 67,6 на Tatoeba-test.spa.glg. Лицензия — Apache-2.0; языки — испанский и галисийский.

Helsinki-NLP/opus-mt-es-it — модель машинного перевода с испанского на итальянский, опубликованная командой Helsinki-NLP и основанная на проекте OPUS-MT. Она использует архитектуру Marian Transformer и предназначена для перевода испанских текстов на итальянский; в обработке применяются нормализация и токенизация SentencePiece. Модель содержит 55,4 млн параметров, её контекст ограничен 512 токенами. В тесте Tatoeba.es.it указаны BLEU 55,9 и chr-F 0,751. Модель принимает текст на испанском и выдаёт перевод на итальянском. Распространяется под лицензией Apache-2.0; веса доступны в форматах PyTorch и TensorFlow. Карточка не описывает дополнительные языковые пары или специализированные предметные области.

Helsinki-NLP/opus-mt-et-fr — модель машинного перевода на архитектуре Marian, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с эстонского языка на французский; модель основана на Transformer-align, использует нормализацию и токенизацию SentencePiece и обучена на данных OPUS. В метаданных указаны 54,9 млн параметров и контекст до 512 токенов. Модель предназначена для перевода отдельных фраз и текстов с эстонского на французский. Для набора JW300.et.fr в карточке приведены оценки BLEU 26,2 и chr-F 0,484. Доступны веса PyTorch и TensorFlow; лицензия — Apache-2.0. Перевод выполняется только в направлении эстонский → французский, а указанный контекст ограничивает размер обрабатываемого текста.

Helsinki-NLP/opus-mt-fi-de — модель машинного перевода из семейства Marian, разработанная проектом OPUS. Она переводит текст с финского языка на немецкий и предназначена для автоматического перевода текстов и интеграции в переводческие конвейеры. Модель построена на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece. В ней 55,6 млн параметров, родной контекст — 512 токенов. В README приведён результат 45,2 BLEU и 0,637 chr-F на тестовом наборе Tatoeba.fi.de. Модель поддерживает только направление финский → немецкий. Указана лицензия Apache-2.0.

Helsinki-NLP/opus-mt-fiu-en — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMT. Она переводит тексты с финно-угорских языков на английский. В исходную группу входят эстонский, финский, венгерский, коми-зырянский, карельский, саамские и другие языки; для обработки текста применяются нормализация и SentencePiece с словарями размером 32 тыс. токенов. Модель содержит 55,3 млн параметров, её нативный контекст — 512 токенов. Модель предназначена для перевода отдельных текстов и многоязычных корпусов с языков группы Finno-Ugric на английский. В карточке приведены оценки BLEU и chr-F для тестовых наборов новостей на финском, эстонском и венгерском. Модель распространяется под лицензией Apache-2.0. Ограничения: направление перевода только на английский, а качество для отдельных языков может различаться; указанные тестовые оценки относятся к конкретным тестовым наборам.

Helsinki-NLP/opus-mt-fr-he — модель машинного перевода из проекта OPUS-MT, основанная на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с французского на иврит; для предварительной обработки используются нормализация и SentencePiece с моделями словаря spm32k. Размер модели — 57,5 млн параметров, длина контекста — 512 токенов. Модель предназначена для автоматического перевода отдельных текстов и фраз с французского на иврит. В карточке приведён результат BLEU 39,2 и chr-F 0,598 на тестовом наборе Tatoeba для этой языковой пары. Репозиторий содержит веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-fr-mt — модель машинного перевода с французского языка на мальтийский. Она построена на архитектуре Transformer-align семейства Marian, обучена на данных OPUS и использует нормализацию текста и токенизацию SentencePiece. Модель содержит 54,4 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для перевода текстов и предложений с французского на мальтийский. В карточке приведён результат BLEU 28,7 и chr-F 0,466 на тестовом наборе JW300.fr.mt. Весам доступна лицензия Apache-2.0.

gaudi/opus-mt-fr-vi-ctranslate2 — преобразованная в формат CTranslate2 версия модели Opus-MT для машинного перевода с французского на вьетнамский. Исходная модель относится к семейству Marian и связана с работами Helsinki-NLP; репозиторий подготовлен на основе CTranslate2 и работ michaelfeil. Модель предназначена для перевода текста и запуска в CTranslate2 или hf-hub-ctranslate2 с ускоренным инференсом на CPU и GPU. README приводит общие замеры производительности для моделей Opus-MT и сообщает о снижении времени инференса в 6–10 раз в проведённых авторами внутренних тестах. Там же отмечено возможное снижение BLEU примерно на 5% относительно исходных чекпойнтов; фактический баланс скорости и качества зависит от конфигурации вычислений. Лицензия репозитория — Apache-2.0.

Helsinki-NLP/opus-mt-ga-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с ирландского языка на английский; пара языков в карточке обозначена как ga-en, а в описании OPUS использованы коды gle-eng. Архитектура — Marian Transformer с выравниванием, размер — 54,2 млн параметров. Для токенизации применяются нормализация и SentencePiece с моделью на 32 тыс. элементов; длина контекста — 512 токенов. Модель подходит для перевода отдельных фраз и текстов с ирландского на английский. В README приведён результат BLEU 51,6 и chr-F 0,672 на тесте Tatoeba-test.gle.eng; эти оценки относятся к указанному тестовому набору. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-gem-en — это модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP и обученная для перевода с германских языков на английский. Она использует архитектуру Transformer в реализации MarianMT; размер модели составляет 54,2 млн параметров, а длина контекста — 512 токенов. Перед обработкой применяются нормализация и токенизация SentencePiece с моделью на 32 тысячи единиц. Модель поддерживает широкий набор исходных языков и разновидностей: африкаанс, немецкий, нидерландский, датский, шведский, норвежские формы, исландский, идиш, фризские и исторические германские языки, а также другие языки германской группы. Целевой язык — английский. Модель подходит для перевода отдельных фраз и текстов; в карточке приведены оценки на нескольких тестовых наборах, включая BLEU 27,2 для одного из наборов немецко-английского направления. Модель доступна в форматах PyTorch и TensorFlow по лицензии Apache-2.0. Результаты для редких, исторических и региональных языков могут быть менее надёжными, чем для распространённых языков; качество также зависит от жанра и соответствия текста обучающим данным.

Helsinki-NLP/opus-mt-hy-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с армянского языка на английский и предназначена для автоматического перевода отдельных фраз и текстов. Модель основана на архитектуре Transformer-align с реализацией MarianMT; в репозитории доступны веса PyTorch и TensorFlow. Размер модели — 57,2 млн параметров, длина контекста — 512 токенов. При предобработке используются нормализация текста и SentencePiece. В карточке приведён результат BLEU 29,5 на наборе Tatoeba.hy.en. Модель распространяется по лицензии Apache-2.0. Показатель на одном тестовом наборе не гарантирует аналогичного качества для всех жанров и предметных областей; направление перевода ограничено парой армянский—английский.

Helsinki-NLP/opus-mt-id-sv — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с индонезийского языка на шведский и предназначена для перевода предложений и текстов между этой языковой парой. Модель построена на архитектуре Transformer-align с MarianMT и содержит 54,1 млн параметров; для предварительной обработки используются нормализация и SentencePiece. Указанный контекст составляет 512 токенов. В карточке приведён результат BLEU 32,7 и chr-F 0,527 на тестовом наборе JW300 для пары id–sv. Модель распространяется по лицензии Apache-2.0. Оценка на одном тестовом наборе не гарантирует аналогичного качества на других типах текстов.

Helsinki-NLP/opus-mt-inc-en — модель машинного перевода из проекта OPUS-MT, основанная на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с группы индийских языков на английский. Среди исходных языков: ассамский, бенгальский, бходжпури, гуджарати, хинди, непальский, маратхи, ория, пенджаби, синдхи, сингальский и урду; README также перечисляет ряд других языковых разновидностей и письменностей. Для токенизации используется SentencePiece с моделями по 32 тысячи токенов. Модель содержит 56,8 млн параметров, её родной контекст — до 512 токенов. Модель подходит для перевода отдельных текстов и документов с поддерживаемых индийских языков на английский. В README приведены результаты BLEU на нескольких тестовых наборах, которые показывают заметно различающееся качество в зависимости от языка и набора. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ine-en — модель машинного перевода из серии OPUS-MT, созданной Helsinki-NLP. Она переводит с множества индоевропейских языков на английский; в карточке перечислены десятки исходных языков, включая французский, немецкий, испанский, русский, хинди и польский. Архитектура — Transformer на базе MarianMT, размер — 56,4 млн параметров, контекст — до 512 токенов. Модель использует нормализацию и SentencePiece с словарями по 32 тыс. токенов. Модель предназначена для перевода отдельных текстов и фраз на английский. В README приведены результаты на тестовых наборах для нескольких языковых пар; качество зависит от исходного языка и тематики текста. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache 2.0.

Helsinki-NLP/opus-mt-it-uk — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Это плотная модель архитектуры MarianMT на базе Transformer-align с 57,1 млн параметров, предназначенная для перевода с итальянского на украинский и обратно? По карточке указано направление только с итальянского на украинский, поэтому её следует использовать для перевода с итальянского на украинский. Модель нормализует текст и применяет SentencePiece с моделями токенизации по 32 тыс. элементов. В метаданных указан контекст 512 токенов. Для тестового набора Tatoeba-test.ita.ukr в карточке приведены BLEU 45,9 и chr-F 0,657. Поддерживаются форматы PyTorch и TensorFlow. Модель подходит для перевода фраз и текстов общего назначения с итальянского на украинский. Она специализирована на одной языковой паре и одном направлении; качество может зависеть от тематики текста и отличаться от результатов на указанном тестовом наборе. Лицензия — Apache-2.0.

Helsinki-NLP выпустила opus-mt-ja-de — модель машинного перевода с японского языка на немецкий. Она основана на архитектуре MarianMT с Transformer и обучена на данных OPUS; перед обработкой текст нормализуется и разбивается с помощью SentencePiece. Модель содержит 56,9 млн параметров и рассчитана на контекст до 512 токенов. Модель подходит для перевода предложений и текстов с японского на немецкий. В README приведены результаты на тестовом наборе Tatoeba.ja.de: BLEU 30,1 и chr-F 0,518. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ja-fr — модель машинного перевода с японского на французский, разработанная в рамках проекта OPUS. Это компактная модель семейства Marian на архитектуре Transformer с выравниванием, содержащая 56,9 млн параметров. Она обучена на данных OPUS; перед обработкой применяются нормализация и токенизация SentencePiece. Модель принимает японский текст и генерирует перевод на французский, имеет контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для перевода предложений и текстовых фрагментов с японского на французский. В карточке приведён результат BLEU 33,6 и chr-F 0,534 на тестовом наборе Tatoeba.ja.fr. Использование распространяется по лицензии Apache-2.0. Показатели на конкретном наборе не гарантируют такое же качество на текстах других жанров; направление перевода ограничено парой японский—французский.

vonjack/opus-mt-mul-en-big — модель машинного перевода на базе MarianMT, опубликованная под Apache-2.0. Она переводит тексты с большого набора исходных языков на английский; среди перечисленных языков есть русский и множество языков с ограниченными цифровыми ресурсами. Карточка указывает архитектуру Transformer-big и обучающий набор OPUS, дополненный обратным переводом и данными из JHUBC. Модель содержит около 161,5 млн параметров, принимает текст и выдаёт текст. Максимальная длина контекста — 1024 токена. Она подходит для перевода пользовательских текстов и материалов с поддерживаемых языков на английский, в том числе для языков, которые редко представлены в машинном переводе. Качество перевода может заметно различаться между языками, особенно для малоресурсных языков; модель не предназначена для перевода с английского на другие языки. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-nl-uk — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP на базе архитектуры Transformer и реализованная как MarianMTModel. Она переводит текст с нидерландского языка на украинский; модель одноязычная для этой языковой пары и использует нормализацию и токенизацию SentencePiece с словарями spm32k. Модель содержит 57,2 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. В карточке приведён результат на тестовом наборе Tatoeba: BLEU 40,8 и chr-F 0,619. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-pt-ca — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с португальского на каталанский и рассчитана на однонаправленный перевод между этими языками. Модель использует архитектуру Transformer-align в семействе Marian; в метаданных указан класс MarianMTModel и размер 35,7 млн параметров. Веса представлены в форматах PyTorch и TensorFlow. Предобработка включает нормализацию и SentencePiece с словарями spm12k. Для набора Tatoeba-test.por.cat в карточке приведены оценки BLEU 45,7 и chr-F 0,672. Модель подходит для перевода предложений и небольших текстов с португальского на каталанский. Указанный родной контекст — 512 токенов, поэтому длинные документы следует разбивать на части. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ru-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с русского языка на французский и подходит для перевода отдельных фраз и текстов. Модель построена на архитектуре Transformer с выравниванием, использует нормализацию и токенизацию SentencePiece; число параметров составляет 58,1 млн, контекст — до 512 токенов. Модель обучена на данных OPUS. В README приведены оценки BLEU 18,3 и 21,6 на тестовых наборах newstest2012 и newstest2013, а также 51,5 на Tatoeba; качество зависит от тематики и формулировок исходного текста. Доступны варианты весов PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ru-he — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP на основе проекта OPUS. Она переводит текст с русского языка на иврит. Модель построена на архитектуре Transformer Marian и содержит 57,6 млн параметров; для обработки текста использует нормализацию и SentencePiece с словарями размером 32 тыс. токенов. Нативная длина контекста — 512 токенов. Модель подходит для перевода фраз и текстов с русского на иврит, в том числе в приложениях и автоматизированных переводческих конвейерах. В карточке приведён результат BLEU 36,1 на наборе Tatoeba-test.rus.heb. Модель не заявлена как многоязычная: её языковая пара — русский и иврит. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-sk-en — модель машинного перевода из серии OPUS-MT, построенная на архитектуре Transformer-align и опубликованная Helsinki-NLP. Она переводит текст со словацкого языка на английский; обучение выполнено на данных OPUS. Веса доступны в форматах PyTorch и TensorFlow, модель содержит 55,9 млн параметров и рассчитана на контекст до 512 токенов. Для предобработки используются нормализация текста и SentencePiece. В тесте JW300.sk.en модель показала BLEU 42,2 и chr-F 0,612. Репозиторий распространяется по лицензии Apache-2.0. Модель предназначена для однонаправленного перевода со словацкого на английский; качество на иных языковых парах и за пределами указанного теста не подтверждено.

Helsinki-NLP/opus-mt-sk-fr — модель машинного перевода из семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст со словацкого языка на французский и предназначена для автоматического перевода предложений и текстовых материалов в пакетных или прикладных сценариях. Модель основана на архитектуре Transformer, содержит 55,1 млн параметров, использует нормализацию и токенизацию SentencePiece; родная длина контекста — 512 токенов. Для набора JW300.sk.fr в карточке приведены результаты BLEU 29,4 и chr-F 0,508. Модель принимает текст на словацком и выдаёт французский перевод. Распространяется по лицензии Apache-2.0.

opus-mt-sm-en — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Она переводит текст с самоанского языка (sm) на английский (en) и предназначена для перевода отдельных фраз и текстов. Модель построена на архитектуре Transformer-align с обработкой текста через нормализацию и SentencePiece; число параметров — 53,3 млн, контекст — до 512 токенов. Репозиторий содержит веса PyTorch и TensorFlow. Для направления sm→en в README приведён результат BLEU 36,1 и chr-F 0,520 на тестовом наборе JW300.sm.en. Модель распространяется по лицензии Apache-2.0.