I.5Создание и редактирование текста

Helsinki-NLP/opus-mt-da-ru — модель машинного перевода из проекта OPUS-MT, разработанная на архитектуре Marian. Она переводит текст с датского языка на русский и рассчитана на однонаправленный перевод между этой языковой парой. Модель содержит 57,4 млн параметров, использует Transformer и предварительную обработку SentencePiece с нормализацией; родная длина контекста — 512 токенов. В карточке приведён результат на наборе Tatoeba-test.dan.rus: BLEU 52,5 и chr-F 0,715. Модель подходит для перевода предложений и текстовых фрагментов с датского на русский, но не предназначена для обратного перевода или других языковых пар. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-de-ms — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Она переводит текст с немецкого языка на малайский; карточка описывает целевую группу Malay (macrolanguage) и указывает целевые языковые варианты, включая индонезийский и малайский. Модель построена на архитектуре Marian Transformer, содержит 54,7 млн параметров и рассчитана на контекст до 512 токенов. Для предварительной обработки используются нормализация текста и SentencePiece с моделями токенизации на 32 тыс. элементов. Для перевода требуется добавить в начало предложения специальный токен целевого языка вида `>>id<<`, где `id` — допустимый идентификатор целевого языка. В тесте Tatoeba для пары немецкий–малайский указаны BLEU 34,0 и chr-F 0,607. Модель распространяется по лицензии Apache-2.0; доступные форматы — PyTorch и TensorFlow.

Helsinki-NLP/opus-mt-de-uk — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Она переводит текст с немецкого на украинский и обратно не предназначена: направление перевода задано от немецкого к украинскому. Модель построена на архитектуре Marian Transformer и содержит 57,2 млн параметров; для обработки текста применяется нормализация и токенизация SentencePiece с моделью на 32 тыс. токенов. Длина контекста — 512 токенов. Модель подходит для перевода отдельных фраз и текстов с немецкого на украинский. В README приведён результат BLEU 40,2 на тестовом наборе Tatoeba для этой языковой пары. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache 2.0.

Xenova/opus-mt-en-ar — модель машинного перевода, созданная на основе Helsinki-NLP/opus-mt-en-ar и подготовленная сообществом Xenova для работы с Transformers.js. Она предназначена для автоматического перевода текста с английского на арабский язык, в том числе в веб-приложениях и других JavaScript-средах, поддерживающих ONNX-модели. Ключевая особенность этой версии — наличие ONNX-весов, совместимых с Transformers.js. Архитектура, количество параметров, максимальная длина контекста и дополнительные модальности в README не указаны; модель предназначена только для текстового перевода между английским и арабским языками. ONNX-представление упрощает использование модели в веб-среде, однако сведения о качестве перевода, производительности и ограничениях на конкретных типах текста отсутствуют. Лицензия в предоставленных данных не указана. Репозиторий с ONNX-весами обозначен как временное решение до более широкого распространения WebML.

Helsinki-NLP/opus-mt-en-hi — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на основе архитектуры Marian. Она переводит текст с английского языка на хинди и предназначена для автоматического перевода отдельных текстов и интеграции в приложения перевода. Модель содержит 56,9 млн параметров, использует Transformer с выравниванием и SentencePiece-токенизацию с нормализацией текста; длина контекста — до 512 токенов. В карточке приведены оценки BLEU 6,9 на newsdev2014, 9,9 на newstest2014-hien и 16,1 на Tatoeba-test, поэтому качество может заметно различаться в зависимости от тематики и тестового набора. Модель обучена для однонаправленного перевода с английского на хинди и не предназначена для обратного перевода. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-inc — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с английского на набор индийских языков: ассамский, бенгальский, бходжпури, гуджарати, хинди, маратхи, непальский, ория, пенджаби, санскрит, синдхи, сингальский, урду и другие перечисленные в карточке разновидности. Для выбора целевого языка в начале входного текста требуется токен вида >>id<< с допустимым кодом языка. Модель содержит 56,8 млн параметров, использует SentencePiece с словарями размером 32 тыс. токенов и имеет контекст до 512 токенов. Карточка приводит результаты тестов на переводе новостных текстов, однако качество может различаться в зависимости от языка и тематики. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-zls — модель машинного перевода проекта OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с английского на южнославянские языки: боснийский (латиница), болгарский, хорватский, македонский, словенский и сербский (кириллица или латиница). Модель построена на архитектуре Transformer Marian и содержит 54,7 млн параметров; для выбора целевого языка в начале предложения требуется токен вида >>id<<. Модель подходит для перевода предложений и текстовых фрагментов, в том числе для приложений и сервисов, которым нужны переводы на поддерживаемые языки. В README приведены результаты тестов Tatoeba, включая BLEU 47,6 для английско-болгарского и 45,2 для английско-македонского перевода. Модель доступна в форматах PyTorch и TensorFlow, распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-es-ro — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с испанского языка на румынский и основана на архитектуре Transformer-align. Для предобработки используются нормализация текста и SentencePiece; модель содержит 53,9 млн параметров и имеет контекстное окно 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с испанского на румынский. В README приведён результат BLEU 45,7 и chr-F 0,666 на наборе Tatoeba.es.ro. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-fi-it — модель машинного перевода с финского языка на итальянский. Она построена на архитектуре MarianMT, использует Transformer и предобработку с нормализацией и SentencePiece. Модель обучена на данных OPUS и содержит около 55,8 млн параметров; максимальная длина контекста составляет 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с финского на итальянский. В README приведён результат BLEU 42,7 на тестовом наборе Tatoeba.fi.it. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-fr-sv — модель машинного перевода на базе архитектуры Marian, предназначенная для перевода с французского языка на шведский. Она разработана в рамках проекта OPUS и обучена на данных OPUS; обработка текста включает нормализацию и SentencePiece. Модель содержит 54,9 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для перевода предложений и текстовых фрагментов с французского на шведский. В README приведены результаты на тестовом наборе Tatoeba.fr.sv: BLEU 60,1 и chr-F 0,744. Распространяется по лицензии Apache 2.0. Карточка не описывает специализированные области применения или ограничения качества за пределами указанного тестирования.

Helsinki-NLP/opus-mt-hr-es — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с хорватского языка на испанский и предназначена для перевода отдельных фраз и текстов. Модель построена на архитектуре Transformer, использует нормализацию и токенизацию SentencePiece; размер составляет 55,2 млн параметров, контекст — до 512 токенов. В README приведён результат BLEU 27,9 и chr-F 0,498 на тестовом наборе JW300.hr.es. Модель распространяется под лицензией Apache-2.0. Показатели качества относятся к указанному тесту и не гарантируют такой же результат на текстах других жанров или предметных областей.

Helsinki-NLP/opus-mt-id-en — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Она переводит текст с индонезийского языка на английский и обучена на данных OPUS. Архитектура — Marian Transformer; перед обработкой текст нормализуется и токенизируется с помощью SentencePiece. Модель содержит 53,2 млн параметров и рассчитана на контекст до 512 токенов. Модель подходит для перевода предложений и коротких текстов, в том числе для локализации материалов и первичного перевода пользовательского контента. В README приведены результаты на наборе Tatoeba.id.en: BLEU 47,7 и chr-F 0,647. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Xenova/opus-mt-ja-en — модель машинного перевода с японского на английский, основанная на Helsinki-NLP/opus-mt-ja-en. Репозиторий подготовлен для использования с библиотекой Transformers.js и содержит веса в формате ONNX, что делает модель совместимой с веб-средами и сценариями запуска через JavaScript. Модель предназначена для автоматического перевода текста с японского языка на английский. Ключевые характеристики архитектуры, размер, максимальная длина контекста и точные ограничения качества в README не указаны. Наличие ONNX-весов облегчает развертывание в поддерживаемых веб- и JavaScript-приложениях, однако сведения о лицензии, мультимодальности и дополнительных языках отсутствуют.

Helsinki-NLP/opus-mt-ja-fr — модель машинного перевода с японского на французский, разработанная в рамках проекта OPUS. Это компактная модель семейства Marian на архитектуре Transformer с выравниванием, содержащая 56,9 млн параметров. Она обучена на данных OPUS; перед обработкой применяются нормализация и токенизация SentencePiece. Модель принимает японский текст и генерирует перевод на французский, имеет контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для перевода предложений и текстовых фрагментов с японского на французский. В карточке приведён результат BLEU 33,6 и chr-F 0,534 на тестовом наборе Tatoeba.ja.fr. Использование распространяется по лицензии Apache-2.0. Показатели на конкретном наборе не гарантируют такое же качество на текстах других жанров; направление перевода ограничено парой японский—французский.

Helsinki-NLP/opus-mt-ja-it — модель машинного перевода японского языка на итальянский из коллекции OPUS-MT, опубликованная Helsinki-NLP. Это плотная Transformer-модель семейства Marian с архитектурой MarianMTModel и 58,4 млн параметров; репозиторий содержит веса PyTorch и TensorFlow. Модель принимает японский текст и генерирует его перевод на итальянский. Для предобработки используются нормализация и SentencePiece с словарями размером 32 тыс. токенов; длина контекста составляет 512 токенов. Модель подходит для перевода отдельных фраз и текстов с японского на итальянский. В карточке приведён результат BLEU 22,8 и chr-F 0,460 на тесте Tatoeba для этой языковой пары. Модель выпущена на условиях лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ja-ru — модель машинного перевода с японского на русский, опубликованная Helsinki-NLP в рамках проекта OPUS-MT. Она построена на архитектуре MarianMT с трансформерной моделью выравнивания и содержит 58,4 млн параметров. Модель принимает японский текст, включая варианты записи кандзи, хираганой, катаканой и латиницей, и генерирует русский перевод. Для предварительной обработки используются нормализация и SentencePiece с словарями по 32 тыс. токенов; длина контекста — 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с японского языка на русский. В README приведён результат на наборе Tatoeba-test.jpn.rus: BLEU 23,2 и chr-F 0,441. Доступны веса в форматах PyTorch и TensorFlow. Лицензия Apache-2.0 разрешает использование, изменение и распространение на её условиях.

Helsinki-NLP/opus-mt-ka-en — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с грузинского языка на английский и предназначена для перевода предложений и коротких текстов. Модель построена на архитектуре Transformer с выравниванием, использует нормализацию и токенизацию SentencePiece; размер составляет 37 млн параметров, контекст — до 512 токенов. В README приведён результат BLEU 37,9 на тестовом наборе Tatoeba-test.kat.eng. Модель поддерживает только направление перевода ka→en; качество может различаться на специализированных текстах и за пределами тестовых данных. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ko-de — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с корейского языка на немецкий и основана на архитектуре MarianMT с трансформером и предварительной обработкой через нормализацию и SentencePiece. Модель обучалась на данных OPUS; в тесте Tatoeba.ko.de указаны результаты BLEU 30,2 и chr-F 0,523. Модель содержит около 57 млн параметров, рассчитана на контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Подходит для перевода фраз и текстов с корейского на немецкий, в том числе для локализованных материалов и многоязычных приложений. Лицензия — Apache-2.0. Оценка на одном тестовом наборе не гарантирует такого же качества на других тематиках и типах текстов.

Helsinki-NLP/opus-mt-lv-es — модель машинного перевода на архитектуре Transformer-align из семейства MarianMT, разработанная в рамках проекта OPUS. Она переводит текст с латышского языка на испанский. Модель обучена на данных OPUS; в предварительную обработку входят нормализация текста и SentencePiece. Размер — 55 млн параметров, максимальный контекст — 512 токенов. В тесте JW300.lv.es указаны BLEU 21,7 и chr-F 0,433. Модель подходит для перевода предложений и текстовых фрагментов с латышского на испанский; результаты теста не гарантируют качество для других тематик и типов текста. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-mr-en — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с маратхи (mr) на английский (en) и предназначена для перевода отдельных текстов и интеграции в конвейеры локализации. Модель основана на Transformer-align, использует нормализацию текста и токенизацию SentencePiece; содержит 56,7 млн параметров и имеет контекст 512 токенов. Для тестового набора Tatoeba.mr.en в карточке приведены BLEU 38,2 и chr-F 0,515. Модель распространяется в форматах PyTorch и TensorFlow по лицензии Apache-2.0. Она рассчитана на направление маратхи → английский; качество перевода для других языковых пар не заявлено.

Helsinki-NLP/opus-mt-nl-fi — модель машинного перевода нидерландского языка на финский, опубликованная проектом OPUS и распространяемая под лицензией Apache-2.0. Она основана на архитектуре Transformer и реализована как MarianMTModel; объём составляет 55,8 млн параметров, контекст — до 512 токенов. В обработке используются нормализация текста и SentencePiece. Модель предназначена для перевода текстов с нидерландского на финский. В README приведены результаты на наборе JW300.nl.fi: BLEU 28,6 и chr-F 0,569. Эти оценки относятся к указанному тестовому набору и не гарантируют аналогичного качества на других жанрах и доменах.

Helsinki-NLP/opus-mt-nl-uk — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP на базе архитектуры Transformer и реализованная как MarianMTModel. Она переводит текст с нидерландского языка на украинский; модель одноязычная для этой языковой пары и использует нормализацию и токенизацию SentencePiece с словарями spm32k. Модель содержит 57,2 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. В карточке приведён результат на тестовом наборе Tatoeba: BLEU 40,8 и chr-F 0,619. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-pl-ar — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMTModel. Она переводит текст с польского на арабский; карточка также указывает вариант арабского arz. Модель содержит 58,4 млн параметров и имеет контекст длиной 512 токенов. Перед переводом текст проходит нормализацию и токенизацию SentencePiece. Для выбора целевого языка требуется начальный токен вида >>id<< с допустимым кодом языка. В тесте Tatoeba для пары польский—арабский указаны BLEU 20,4 и chr-F 0,491. Модель распространяется по лицензии Apache-2.0; доступны форматы PyTorch и TensorFlow.

Helsinki-NLP/opus-mt-pl-no — модель машинного перевода из семейства Marian, созданная проектом OPUS-MT Helsinki-NLP. Она переводит текст с польского языка на норвежский; целевой язык в карточке обозначен как Norwegian (букмол и нюнорск). Архитектура — Transformer-align, в репозитории доступны веса PyTorch и TensorFlow. Модель насчитывает 28,8 млн параметров, использует нормализацию и SentencePiece с словарями spm4k и рассчитана на контекст до 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с польского на норвежский. В тесте Tatoeba для пары польский—норвежский указаны BLEU 27,5 и chr-F 0,479. Лицензия — Apache-2.0. Ограничение: модель ориентирована на одну языковую пару, поэтому результаты могут быть менее надёжными для специализированной терминологии и текстов за пределами её обучающего распределения.

Helsinki-NLP разработала opus-mt-pl-sv — модель машинного перевода с польского языка на шведский. Она построена на архитектуре Transformer-align и относится к семейству Marian; для обработки текста применяются нормализация и SentencePiece. Модель содержит 55,2 млн параметров и рассчитана на контекст до 512 токенов. Модель обучена на данных OPUS. В карточке приведены результаты тестирования на наборе Tatoeba.pl.sv: BLEU 58,9 и chr-F 0,717. Она подходит для перевода отдельных фраз и текстов с польского на шведский. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-sk-en — модель машинного перевода из серии OPUS-MT, построенная на архитектуре Transformer-align и опубликованная Helsinki-NLP. Она переводит текст со словацкого языка на английский; обучение выполнено на данных OPUS. Веса доступны в форматах PyTorch и TensorFlow, модель содержит 55,9 млн параметров и рассчитана на контекст до 512 токенов. Для предобработки используются нормализация текста и SentencePiece. В тесте JW300.sk.en модель показала BLEU 42,2 и chr-F 0,612. Репозиторий распространяется по лицензии Apache-2.0. Модель предназначена для однонаправленного перевода со словацкого на английский; качество на иных языковых парах и за пределами указанного теста не подтверждено.

Helsinki-NLP/opus-mt-tc-bible-big-itc-deu_eng_fra_por_spa — модель машинного перевода проекта OPUS-MT, разработанного группой Language Technology Research Group Хельсинкского университета. Она переводит с набора италийских языков на немецкий, английский, французский, португальский и испанский; целевой язык выбирается специальной меткой. Модель построена на архитектуре Marian transformer-big, содержит 147,1 млн параметров и доступна для Transformers в форматах PyTorch и Safetensors. Максимальная длина контекста — 1024 токена. Модель предназначена для перевода текстов, в том числе с языков с ограниченными ресурсами. Обучающие данные взяты из OPUS; качество может различаться между поддерживаемыми исходными языками и целевыми направлениями. В карточке указаны языки, включая итальянский, каталанский, корсиканский, окситанский, сардинский и другие романские языки, а также креольские языки. Лицензия — Apache-2.0.

Модель Helsinki-NLP/opus-mt-tc-big-de-gmq — нейросетевой переводчик проекта OPUS-MT, разработанный группой Language Technology Research Group Хельсинкского университета. Она переводит с немецкого на северогерманские языки: датский, исландский, норвежский букмол и нюнорск, а также шведский; в карточке также перечислены дополнительные целевые языковые метки. Модель построена на архитектуре MarianMT типа transformer-big и содержит около 158,8 млн параметров. Максимальная длина контекста — 1024 токена. Модель предназначена для автоматического перевода текстов и может использоваться в переводческих сервисах и многоязычных приложениях. Она обучена на данных OPUS с применением конвейера OPUS-MT-train; опубликованная версия преобразована в PyTorch для Transformers. Доступны веса в форматах PyTorch, safetensors и TensorFlow. Лицензия — CC-BY-4.0. Качество может различаться между целевыми языками и доменами, особенно для редких языковых вариантов и текстов вне обучающих данных. Карточка предупреждает о рисках и ограничениях, но не приводит подробностей о них.

Helsinki-NLP/opus-mt-ti-en — модель машинного перевода семейства MarianMT, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с тигринья (ti) на английский (en) и предназначена для перевода отдельных фраз и документов. Модель использует архитектуру Transformer, нормализацию текста и токенизацию SentencePiece; размер составляет 57,4 млн параметров, контекст — до 512 токенов. Для набора JW300.ti.en в карточке приведены оценки BLEU 30,4 и chr-F 0,461. Модель распространяется по лицензии Apache-2.0. В метаданных указаны форматы PyTorch и TensorFlow.

Helsinki-NLP/opus-mt-ur-en — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Она переводит текст с урду на английский и обратно не предназначена: направление модели — только урду → английский. Архитектура — Marian Transformer; в метаданных указано 56,9 млн параметров и контекст до 512 токенов. Для подготовки текста применяются нормализация и SentencePiece с словарями по 32 тыс. токенов. Модель подходит для перевода предложений и текстовых фрагментов с урду на английский, в том числе в сценариях, где нужен локальный запуск через Transformers. В карточке приведён результат BLEU 23,2 и chr-F 0,435 на Tatoeba-test.urd.eng; эти оценки относятся к указанному тестовому набору и не гарантируют такое же качество на других типах текстов. Репозиторий предоставляет веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.