I.6Перевод и языковая адаптация

Helsinki-NLP/opus-mt-bat-en — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP на основе проекта Tatoeba-Challenge. Это трансформер Marian с 55,4 млн параметров, обученный переводить с балтийских языков на английский. Источники включают литовский, латышский, жемайтский, латгальский и древнепрусский; целевой язык — английский. Для обработки текста используются нормализация и SentencePiece с моделями токенизации по 32 тыс. элементов. Модель принимает текст и генерирует текст перевода; нативный контекст — 512 токенов. Подходит для перевода текстов с поддерживаемых балтийских языков на английский, в том числе новостных материалов. В README приведены результаты оценки на наборах новостных текстов, однако качество может различаться между языками и тематиками. Модель доступна в форматах PyTorch и TensorFlow по лицензии Apache-2.0.

Helsinki-NLP разработала opus-mt-bcl-en — модель машинного перевода с бикольского языка (bcl) на английский. Она предназначена для перевода текстов, в том числе материалов, похожих на корпус JW300. Модель использует архитектуру Transformer-align в семействе MarianMT, насчитывает 55,1 млн параметров и выполняет нормализацию текста и разбиение на подслова SentencePiece. Максимальная длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow. В тесте JW300.bcl.en указаны BLEU 56,1 и chr-F 0,697. Модель распространяется по лицензии Apache-2.0. Она ориентирована на перевод только с бикольского на английский; качество может отличаться на текстах других жанров и тематик.

Helsinki-NLP/opus-mt-bg-fr — модель машинного перевода из семейства OPUS-MT, созданная Helsinki-NLP. Она переводит текст с болгарского на французский; модель построена на архитектуре Transformer и реализована как MarianMTModel. Веса содержат около 56,6 млн параметров, для токенизации используются нормализация и SentencePiece с словарями размером 32 тыс. токенов. В карточке приведён результат BLEU 53,7 на тестовом наборе Tatoeba-test.bul.fra. Модель подходит для перевода предложений и коротких текстов с болгарского языка на французский в приложениях, исследовательских проектах и локальных конвейерах перевода. Поддерживаются форматы PyTorch и TensorFlow; указанное в метаданных ограничение контекста — 512 токенов. Лицензия Apache-2.0 разрешает использование, изменение и распространение на её условиях.

Helsinki-NLP/opus-mt-bi-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит с языка bi на английский. Модель построена на архитектуре Transformer-align, использует SentencePiece и нормализацию текста; число параметров — 53 млн, максимальная длина контекста — 512 токенов. Модель предназначена для перевода текстов bi на английский, в том числе материалов, похожих на корпус JW300. В README приведён результат BLEU 30,3 на тестовом наборе JW300.bi.en. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-bi-sv — модель машинного перевода на архитектуре Transformer, опубликованная проектом OPUS и рассчитанная на перевод с языка bi на шведский. Она обучена на данных OPUS; перед подачей текста применяются нормализация и токенизация SentencePiece. Модель содержит 53,5 млн параметров и имеет контекст до 512 токенов. В тесте JW300.bi.sv модель получила BLEU 22,7 и chr-F 0,403. Доступны веса в форматах PyTorch и TensorFlow. Репозиторий распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ca-it — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с каталанского на итальянский и обратно не предназначена; направление перевода — только с каталанского на итальянский. Модель построена на архитектуре Transformer-align и использует нормализацию текста и SentencePiece с словарями по 12 тысяч токенов. В версии для Hugging Face около 36,2 млн параметров, родная длина контекста — 512 токенов. В тесте Tatoeba для пары каталанский–итальянский указаны BLEU 48,6 и chr-F 0,690. Модель подходит для перевода предложений и коротких текстов; опубликованные показатели относятся к конкретному тестовому набору и не гарантируют такое же качество на других текстах. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ee-de — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с языка ee на немецкий; в карточке ee указан как исходный язык, de — как целевой. Модель построена на архитектуре MarianMT с трансформером и использует нормализацию и SentencePiece для предобработки текста. Модель содержит 56,1 млн параметров и имеет контекст длиной до 512 токенов. Для оценки приведён результат BLEU 22,3 и chr-F 0,430 на тестовом наборе JW300.ee.de. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-ber — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на язык с кодом ber и основана на архитектуре Transformer-align с реализацией MarianMT; для предобработки используются нормализация и SentencePiece. Модель содержит 43,6 млн параметров, её контекст ограничен 512 токенами, доступны веса PyTorch и TensorFlow. Модель предназначена для перевода фраз и текстов с английского на ber. В карточке приведена оценка BLEU 29,7 и chr-F 0,544 на тестовом наборе Tatoeba.en.ber. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-ceb — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с английского языка (en) на себуано (ceb) и предназначена для автоматического перевода отдельных фраз и текстов. Модель построена на архитектуре Transformer-align и имеет около 54,3 млн параметров. Для предобработки используются нормализация текста и SentencePiece; максимальная длина контекста — 512 токенов. В README приведены результаты на тестовых наборах JW300.en.ceb (BLEU 51,3) и Tatoeba.en.ceb (BLEU 31,3). Модель выпускается в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0. Она предназначена для перевода только с английского на себуано; качество может различаться в зависимости от тематики и стиля текста.

Helsinki-NLP/opus-mt-en-cy — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на валлийский и основана на архитектуре MarianMT с Transformer; размер составляет 53 млн параметров. Для подготовки текста используются нормализация и SentencePiece. В метаданных указано ограничение контекста в 512 токенов. Модель подходит для перевода отдельных фраз и текстов с английского на валлийский. В README приведён результат BLEU 25,3 на наборе Tatoeba.en.cy. Модель распространяется под лицензией Apache 2.0; доступны веса PyTorch и TensorFlow.

Helsinki-NLP/opus-mt-en-id — модель машинного перевода из семейства Marian, разработанная Helsinki-NLP для перевода с английского языка на индонезийский. Она построена на архитектуре Transformer-align, обучена на данных OPUS и использует нормализацию текста и токенизацию SentencePiece. Модель подходит для перевода предложений и текстов с английского на индонезийский в прикладных системах и пользовательских инструментах. В тесте Tatoeba.en.id указаны оценки BLEU 38,3 и chr-F 0,636. Размер модели — 53,2 млн параметров, заявленная длина контекста — 512 токенов; доступны веса PyTorch и TensorFlow. Модель предназначена для одного направления перевода и не заявлена как универсальная система для других языковых пар. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-mos — модель машинного перевода из проекта OPUS-MT на архитектуре Marian Transformer. Она переводит текст с английского языка на язык мосси (mos). Модель обучена на данных OPUS; перед подачей текста применяются нормализация и токенизация SentencePiece. В метаданных указаны 49,2 млн параметров, контекст до 512 токенов и лицензия Apache-2.0. Модель подходит для перевода английских фраз и документов на мосси. В карточке приведён результат BLEU 26,9 и chr-F 0,417 на тестовом наборе JW300.en.mos. Качество может различаться для других жанров и тем; поддержка обратного перевода или других языковых пар не заявлена.

Helsinki-NLP/opus-mt-en-nso — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на северный сото (сесото-са-лебоа, nso) и предназначена для автоматического перевода предложений и документов в системах на базе Transformers. Модель построена на архитектуре Transformer и использует MarianMT; в карточке указано 54,6 млн параметров и контекст длиной до 512 токенов. Для подготовки текста применяются нормализация и SentencePiece. В тесте JW300.en.nso опубликованы оценки BLEU 52,2 и chr-F 0,684. Модель распространяется по лицензии Apache-2.0. Её направление перевода ограничено парой английский → северный сото; качество для других языков и доменов не подтверждено приведёнными данными.

Helsinki-NLP/opus-mt-en-om — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на оромо. Модель построена на архитектуре MarianMT с Transformer, содержит 55,8 млн параметров и использует нормализацию текста и токенизацию SentencePiece; максимальная длина контекста — 512 токенов. Для обучения использован корпус OPUS. В карточке приведены результаты на тестовом наборе JW300.en.om: BLEU 21,8 и chr-F 0,498. Модель распространяется в форматах PyTorch и TensorFlow по лицензии Apache-2.0. Она предназначена для перевода с английского на оромо; качество на других языковых направлениях не подтверждено.

Helsinki-NLP/opus-mt-en-tn — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на тсвана (Setswana) и предназначена для автоматического перевода фраз и документов в прикладных системах. Модель построена на архитектуре Transformer-align, использует нормализацию текста и токенизацию SentencePiece; в метаданных указаны 54,5 млн параметров и контекст длиной 512 токенов. Доступны веса в форматах PyTorch и TensorFlow. Модель обучена на данных OPUS. В README приведены результаты на тестовом наборе JW300.en.tn: BLEU 45,5 и chr-F 0,636. Поддерживается направление перевода только с английского на тсвана. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-nl — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с испанского на нидерландский и построена на архитектуре MarianMT с трансформером; число параметров — около 55 млн. При обучении использованы данные OPUS, а текст проходит нормализацию и токенизацию SentencePiece. Для набора Tatoeba.es.nl в карточке приведены оценки BLEU 50,6 и chr-F 0,681. Модель предназначена для перевода отдельных текстов и интеграции в системы машинного перевода с направлением испанский → нидерландский. Указанное контекстное окно — 512 токенов. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0. Карточка не описывает ограничения по качеству или условия использования помимо лицензии.

Helsinki-NLP/opus-mt-es-swc — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с испанского языка на суахили конго (swc) и предназначена для автоматического перевода предложений и документов. Модель построена на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece; в метаданных указаны 56,1 млн параметров и контекст до 512 токенов. Доступны веса PyTorch и TensorFlow. Для набора JW300.es.swc в карточке приведены результаты BLEU 26,0 и chr-F 0,490. Модель распространяется по лицензии Apache-2.0. Показатели относятся к указанному тестовому набору; качество на других текстах может отличаться.

Helsinki-NLP/opus-mt-fi-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с финского языка на французский и предназначена для автоматического перевода отдельных фраз и текстов. Модель использует архитектуру Transformer в реализации MarianMT, около 55,9 млн параметров, предварительную нормализацию и токенизацию SentencePiece; максимальная длина контекста — 512 токенов. В README приведён результат BLEU 50,7 на наборе Tatoeba.fi.fr. Модель доступна под лицензией Apache-2.0. Она предназначена для перевода между конкретной парой языков; качество на других языках и в специализированных областях не подтверждено.

Helsinki-NLP/opus-mt-fr-fj — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с французского языка на фиджийский и основана на архитектуре MarianMT с трансформером; в модели 55,6 млн параметров. Для обработки текста используются нормализация и SentencePiece. Модель обучена на данных OPUS; в README приведён результат BLEU 27,4 на тестовом наборе JW300.fr.fj. Модель подходит для перевода отдельных текстов и фраз с французского на фиджийский. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-fr-pl — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с французского на польский и обучена на данных OPUS. Модель построена на архитектуре MarianMT с Transformer; размер составляет 55,9 млн параметров, контекст — до 512 токенов. Для предобработки используются нормализация текста и SentencePiece. В тесте Tatoeba.fr.pl модель показала BLEU 40,7 и chr-F 0,625. Она подходит для перевода отдельных фраз и текстов с французского на польский; направление перевода ограничено этой языковой парой. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-id-es — модель машинного перевода семейства Marian, разработанная в рамках проекта OPUS. Она переводит текст с индонезийского языка на испанский. Модель основана на архитектуре Transformer, использует нормализацию текста и токенизацию SentencePiece и содержит 54,6 млн параметров; длина контекста — до 512 токенов. Модель предназначена для автоматического перевода отдельных текстов и интеграции в конвейеры локализации и перевода. Для набора GlobalVoices.id.es в карточке приведены оценки BLEU 21,8 и chr-F 0,483. Модель опубликована под лицензией Apache 2.0. Она выполняет перевод только в направлении с индонезийского на испанский; качество на других тематиках и типах текстов карточка не характеризует.

Xenova/opus-mt-ja-en — модель машинного перевода с японского на английский, основанная на Helsinki-NLP/opus-mt-ja-en. Репозиторий подготовлен для использования с библиотекой Transformers.js и содержит веса в формате ONNX, что делает модель совместимой с веб-средами и сценариями запуска через JavaScript. Модель предназначена для автоматического перевода текста с японского языка на английский. Ключевые характеристики архитектуры, размер, максимальная длина контекста и точные ограничения качества в README не указаны. Наличие ONNX-весов облегчает развертывание в поддерживаемых веб- и JavaScript-приложениях, однако сведения о лицензии, мультимодальности и дополнительных языках отсутствуют.

Helsinki-NLP/opus-mt-sla-sla — мультиязычная модель машинного перевода из проекта OPUS-MT, опубликованная под лицензией Apache-2.0. Она предназначена для перевода между славянскими языками и вариантами письма: в карточке перечислены белорусский, боснийский, болгарский, чешский, кашубский, нижне- и верхнелужицкий, хорватский, македонский, польский, русский, русинский, сербский, словенский и украинский. Поддерживаются варианты кириллицы и латиницы там, где они указаны в списке языков. Модель использует архитектуру Transformer семейства MarianMT, содержит 44,7 млн параметров и рассчитана на контекст до 512 токенов. Для выбора целевого языка требуется добавить в начало предложения специальный токен вида `>>id<<`. Текст нормализуется и токенизируется SentencePiece с моделью словаря 32k. В README приведены оценки BLEU и chr-F на тестовых наборах, однако качество зависит от языковой пары и текста; документация не подтверждает одинаковую точность для всех перечисленных направлений.

Helsinki-NLP/opus-mt-swc-en — модель машинного перевода семейства Marian, разработанная проектом OPUS и опубликованная под организацией Helsinki-NLP. Она переводит текст с языка swc на английский; модель построена на архитектуре Transformer и использует нормализацию текста и токенизацию SentencePiece. В метаданных указаны 55,3 млн параметров, контекст до 512 токенов и поддержка PyTorch и TensorFlow. Модель предназначена для автоматического перевода текстов с swc на английский. В карточке приведён результат BLEU 41,1 и chr-F 0,569 на тестовом наборе JW300.swc.en. Модель распространяется по лицензии Apache-2.0. Она ориентирована на одну языковую пару, поэтому не предназначена для перевода на другие языки.

Модель Helsinki-NLP из проекта OPUS-MT предназначена для машинного перевода с афразийских языков на немецкий, английский, французский, португальский и испанский. Она построена на архитектуре Marian Transformer-big; в репозитории опубликована версия для PyTorch в форматах PyTorch и safetensors, преобразованная из исходной реализации Marian NMT. Размер модели — 163,6 млн параметров, максимальный контекст — 1024 токена. Модель подходит для перевода текстов, в том числе библейских и других материалов из корпуса OPUS, между перечисленными языками. Входной язык охватывает множество афразийских языков, включая амхарский, арабский, иврит, хауса, сомалийский и тигринья; для выбора целевого языка используются специальные метки. Качество может различаться для отдельных языковых пар, особенно для малоресурсных языков. Лицензия — Apache-2.0.

Это крупная нейронная модель машинного перевода OPUS-MT, разработанная Language Technology Research Group Хельсинкского университета в рамках проекта OPUS-MT. Модель архитектуры Transformer-big на основе Marian принимает текст на немецком, английском, французском, португальском или испанском и переводит на множество языков, включая языки с ограниченными цифровыми ресурсами. Веса доступны в форматах PyTorch и Safetensors; число параметров — 165,1 млн, заявленная длина контекста — 1024 токена. Модель подходит для перевода текстов с одного из пяти исходных языков на поддерживаемый целевой язык, в том числе для доступа к материалам на малоресурсных языках. Качество заметно различается между языковыми парами: для многих целевых языков обучающих данных мало, поэтому перевод может быть слабым или не работать. Обучение основано на данных OPUS и процедурах OPUS-MT-train. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-tc-big-sh-en — модель машинного перевода проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит с сербохорватского на английский; в исходных данных указаны варианты боснийского на латинице, хорватского, сербского на кириллице и латинице. Модель построена на архитектуре Marian с трансформером размера big и содержит 161 млн параметров. Для токенизации используется SentencePiece с словарями размером 32 тыс.; нативная длина контекста — 1024 токена. Модель предназначена для перевода предложений и текстов с указанных языковых вариантов на английский. Она обучена на данных OPUS, включая обратный перевод, и опубликованные тесты показывают результаты на наборах Tatoeba для боснийского, хорватского и объединённого сербохорватского. Это специализированная модель для одной пары направлений перевода; качество может зависеть от тематики и соответствия входного текста указанным языковым вариантам. Лицензия — CC BY 4.0.

Helsinki-NLP разработала opus-mt-tc-big-zle-zls в рамках проекта OPUS-MT — систему машинного перевода на архитектуре Marian. Модель переводит с восточнославянских языков (белорусского, русского и украинского) на южнославянские: болгарский, хорватский, словенский, сербский (кириллица и латиница), а также языки, обозначенные в карточке кодами hbs и srp_Cyrl/srp_Latn. Нужный язык перевода задаётся целевой меткой в начале текста. Модель содержит около 159,9 млн параметров, имеет контекст до 1024 токенов и доступна в форматах PyTorch, Safetensors и TensorFlow. В README приведены результаты тестирования для нескольких языковых пар; качество различается между направлениями, поэтому переводы стоит проверять, особенно для словенского и специализированных текстов. Лицензия — CC BY 4.0.

Helsinki-NLP/opus-mt-th-fr — модель машинного перевода из семейства Marian, разработанная проектом OPUS и опубликованная организацией Helsinki-NLP. Она переводит текст с тайского языка на французский; модель построена на архитектуре Transformer и использует нормализацию текста и SentencePiece для токенизации. Размер модели — 57 млн параметров, заявленная длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow. Модель предназначена для перевода отдельных текстов и фраз с тайского на французский. В карточке приведён результат BLEU 20,4 на наборе JW300.th.fr. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-uk-es — модель машинного перевода на базе архитектуры MarianMT, разработанная для перевода с украинского языка на испанский. Она использует Transformer и предобработку с нормализацией и SentencePiece; обучающие данные относятся к корпусу OPUS. В метаданных указаны 56,9 млн параметров и контекст до 512 токенов. Модель подходит для перевода отдельных фраз и текстов с украинского на испанский. В карточке приведён результат BLEU 50,4 и chr-F 0,680 на тестовом наборе Tatoeba.uk.es. Поддержка других направлений перевода не заявлена. Модель опубликована под лицензией Apache-2.0.