I.6Перевод и языковая адаптация

Helsinki-NLP/opus-mt-fi-ee — модель машинного перевода из семейства OPUS-MT, разработанная проектом Helsinki-NLP. Она переводит текст с финского языка на эстонский и предназначена для автоматического перевода предложений и документов в этом языковом направлении. Модель построена на архитектуре Transformer и использует нормализацию текста и токенизацию SentencePiece; число параметров — 56,6 млн, нативная длина контекста — 512 токенов. В карточке приведён результат на тестовом наборе JW300.fi.ee: BLEU 28,0 и chr-F 0,500. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0. Показатели бенчмарка не гарантируют такого же качества на других типах текста; применение модели ограничено переводом с финского на эстонский.

Helsinki-NLP/opus-mt-fi-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с финского языка на английский и подходит для перевода отдельных фраз и текстов в прикладных и исследовательских сценариях. Модель основана на архитектуре Transformer-align и реализована как MarianMTModel. В репозитории указаны веса PyTorch и TensorFlow, 55,7 млн параметров и контекст до 512 токенов. При обработке используются нормализация текста и SentencePiece с моделью токенизатора на 32 тыс. единиц. Карточка приводит результаты оценки на наборах новостных текстов, включая BLEU 25,3–29,0. Модель предназначена для пары языков финский—английский и не заявлена как многоязычная. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-fi-et — модель машинного перевода с финского языка на эстонский. Она построена на архитектуре MarianMT с трансформером transformer-align и предназначена для перевода предложений и текстов между этими языками. Для предобработки используются нормализация и SentencePiece. Размер модели — 54,9 млн параметров, заявленная длина контекста — 512 токенов. В README приведены результаты на тестовом наборе JW300.fi.et: BLEU 25,2 и chr-F 0,519. Модель доступна в форматах PyTorch и TensorFlow по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-fr-bg — модель машинного перевода из семейства OPUS-MT, созданная Helsinki-NLP на архитектуре Transformer и реализованная в библиотеке Marian. Она переводит текст с французского языка на болгарский; модель обучена для этой языковой пары, а не для многоязычного перевода. Используются нормализация текста и токенизация SentencePiece с словарями размером 32 тыс. токенов. Модель содержит 56,6 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для перевода отдельных фраз и текстов, в том числе для автоматизированных рабочих процессов перевода. В карточке приведён результат BLEU 46,3 на тестовом наборе Tatoeba-test.fra.bul; этот показатель относится к указанному набору и не гарантирует такое же качество на других типах текстов. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-fr-ca — модель машинного перевода проекта OPUS-MT, созданная Helsinki-NLP. Она переводит текст с французского языка на каталанский и предназначена для автоматического перевода отдельных фраз и документов. Модель использует архитектуру Transformer-align на базе MarianMT, содержит 36,1 млн параметров и принимает до 512 токенов контекста. Для предобработки применяются нормализация текста и SentencePiece с словарями по 12 тысяч единиц для каждого языка. В тесте Tatoeba для пары французский—каталанский указаны BLEU 43,4 и chr-F 0,645; эти показатели относятся к конкретному тестовому набору. Модель поддерживает только направление перевода с французского на каталанский. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-fr-de — модель машинного перевода с французского на немецкий, опубликованная в семействе OPUS-MT. Это плотная модель архитектуры Marian, основанная на Transformer-align; в README указаны набор данных OPUS и предварительная обработка с нормализацией и SentencePiece. Модель содержит 56,5 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для перевода французских текстов на немецкий, включая новостные и общественно-политические материалы. В карточке приведены результаты BLEU 26,4 на тесте euelections_dev2019 и 22,1 на двух новостных тестах. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-fr-en — модель машинного перевода, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с французского на английский и предназначена для перевода отдельных текстов и документов. Модель основана на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece; число параметров — 55,6 млн, контекст — до 512 токенов. В README приведены результаты на тестовых наборах новостных текстов: BLEU от 30,3 до 38,7. Модель поддерживает французский как исходный и английский как целевой язык. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-fr-uk — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с французского языка на украинский. Модель построена на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece; число параметров составляет 56,9 млн, а длина контекста — до 512 токенов. Модель подходит для перевода фраз и текстов общего назначения с французского на украинский. В README приведён результат BLEU 39,4 на тестовом наборе Tatoeba.fr.uk. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP разработала OPUS-MT gmq-en — модель машинного перевода на архитектуре Transformer, реализованная как MarianMT. Она переводит текст из группы северогерманских языков на английский: поддерживаются датский, фарерский, исландский, норвежский (букмол и нюнорск), шведский, а также указаны исторические и особые варианты письма. Модель содержит 54,5 млн параметров и рассчитана на контекст до 512 токенов; перед переводом текст нормализуется и токенизируется SentencePiece. Модель предназначена для перевода отдельных текстов и многоязычных корпусов с северогерманских языков на английский. В карточке приведён результат BLEU 58,1 на Tatoeba-test.multi.eng. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-gmw-en — переводческая модель проекта OPUS-MT на архитектуре Transformer, реализованная как MarianMTModel. Она переводит с западногерманских языков и их вариантов на английский. Источники включают африкаанс, немецкий, нидерландский, фризские и идишские варианты, нижненемецкий, люксембургский, шотландский и другие языки, перечисленные в карточке. Модель содержит 53,6 млн параметров и использует нормализацию текста и SentencePiece с словарями по 32 тыс. токенов; максимальный контекст — 512 токенов. Модель предназначена для машинного перевода текстов с поддерживаемых западногерманских языков на английский. В README приведены результаты BLEU и chr-F на тестовых наборах, включая немецко-английские; фактическое качество может различаться для языков и текстов, не представленных этими оценками. Модель выпущена под лицензией Apache-2.0.

Helsinki-NLP/opus-mt-he-ar — модель машинного перевода из серии OPUS-MT, опубликованной Helsinki-NLP. Она переводит текст с иврита на арабский и его варианты; в README указаны арабский, левантийский арабский, алжирский арабский и египетский арабский. Модель построена на архитектуре Transformer и реализована как MarianMTModel; содержит 57,6 млн параметров, принимает целевой языковой токен вида `>>id<<` и использует нормализацию и SentencePiece с словарями размером 32 тыс. токенов. Нативный контекст — 512 токенов. Модель предназначена для перевода фраз и предложений, в том числе в приложениях и рабочих процессах, где нужен перевод с иврита на арабский. В приведённом в карточке тесте Tatoeba для пары иврит—арабский указаны BLEU 23,6 и chr-F 0,532; результаты на других текстах могут отличаться. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-he-it — модель машинного перевода на базе архитектуры Transformer MarianMT, разработанная в рамках проекта OPUS-MT. Она переводит текст с иврита на итальянский и рассчитана на одноязычную пару направлений he→it. Для предобработки используются нормализация и SentencePiece с словарями по 32 тысячи токенов; размер модели составляет 57,5 млн параметров, длина контекста — 512 токенов. В тесте Tatoeba для этой пары указаны BLEU 41,1 и chr-F 0,643. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-hu-fr — модель машинного перевода, разработанная проектом Helsinki-NLP в рамках OPUS-MT. Она переводит текст с венгерского языка на французский и предназначена для автоматического перевода фраз и документов. Модель основана на архитектуре Transformer-align и реализована как MarianMTModel; при подготовке текста используются нормализация и SentencePiece. Веса содержат 55,2 млн параметров, длина контекста — 512 токенов. Для тестового набора Tatoeba.hu.fr в карточке приведены результаты BLEU 50,3 и chr-F 0,660. Модель поддерживает направление перевода hu→fr; качество на других типах текстов и доменах этими оценками не подтверждено. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-hy-ru — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с армянского на русский и построена на архитектуре Transformer-align в реализации MarianMT. Модель поддерживает исходный текст на армянском в письменностях hye и hye_Latn; для токенизации используется SentencePiece с нормализацией. В метаданных указаны 29,1 млн параметров и контекст до 512 токенов. Модель предназначена для перевода отдельных фраз и текстов с армянского языка на русский. В карточке приведён результат BLEU 25,6 и chr-F 0,476 на наборе Tatoeba-test.hye.rus. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-id-fr — модель машинного перевода с индонезийского языка на французский. Она основана на архитектуре Transformer и реализована как MarianMTModel; для обработки текста используются нормализация и SentencePiece. Модель обучена на данных OPUS и содержит 54,3 млн параметров. Модель предназначена для перевода предложений и текстов с индонезийского на французский. В карточке приведён результат BLEU 43,8 и chr-F 0,616 на тесте Tatoeba.id.fr. Длина контекста — 512 токенов. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-iir-en — модель машинного перевода проекта OPUS-MT на базе архитектуры Transformer, опубликованная под лицензией Apache-2.0. Она переводит тексты с группы индо-иранских языков на английский. К этой группе относятся, среди прочих, хинди, урду, бенгали, гуджарати, маратхи, непали, пушту, сингальский и пенджаби. Модель содержит 57 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов и имеет контекст до 512 токенов. Для запуска доступны веса PyTorch и TensorFlow. В README приведены результаты тестирования на нескольких наборах данных; качество зависит от исходного языка и тематики текста.

Helsinki-NLP/opus-mt-itc-itc — модель машинного перевода из проекта OPUS, разработанная Helsinki-NLP. Она переводит между языками италийской группы, включая итальянский, испанский, французский, португальский, каталанский, романшский, галисийский и ряд региональных и исторических языков. Модель построена на архитектуре Transformer и реализована как MarianMTModel; размер — 43,9 млн параметров, контекст — до 512 токенов. Для выбора языка перевода требуется добавить в начало предложения специальный токен вида `>>id<<`, где `id` — допустимый код целевого языка. Вход и выход — текст. Предобработка включает нормализацию и SentencePiece с моделью словаря на 32 тыс. элементов. Для ряда языковых пар в карточке приведены оценки на тестах Tatoeba. Модель подходит для перевода предложений между поддерживаемыми языками, в том числе для языков с ограниченными ресурсами. Качество может различаться между языковыми парами; контекст ограничен 512 токенами, поэтому длинные документы потребуется разбивать на части. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ja-es — модель машинного перевода, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с японского на испанский и предназначена для автоматического перевода фраз и документов между этими языками. Модель использует архитектуру Marian Transformer с выравниванием, около 56,9 млн параметров и контекстом до 512 токенов. В предварительной обработке применяются нормализация текста и SentencePiece. Для набора Tatoeba.ja.es в карточке приведены результаты BLEU 34,6 и chr-F 0,553. Модель доступна в форматах PyTorch и TensorFlow по лицензии Apache-2.0. Качество перевода может зависеть от тематики и формулировок; приведённые оценки относятся к указанному тестовому набору.

Helsinki-NLP/opus-mt-ja-pt — модель машинного перевода японского текста на португальский из семейства OPUS-MT, основанная на архитектуре Transformer и реализованная как MarianMTModel. Модель содержит 58,3 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Для перевода используются нормализация и SentencePiece; перед текстом требуется указать начальный токен целевого языка в формате `>>id<<` с допустимым идентификатором языка. Модель подходит для перевода предложений и коротких текстов с японского на португальский. В README приведён результат на тестовом наборе Tatoeba: BLEU 22,2 и chr-F 0,444. Доступны веса в форматах PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP разработала OPUS-MT mul-en — модель машинного перевода с архитектурой Transformer на базе Marian. Она переводит текст с множества исходных языков на английский; в карточке перечислены сотни языковых вариантов, включая русский, испанский, французский, китайский и японский. Модель содержит 58 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов, а длина контекста составляет 512 токенов. Модель предназначена для перевода отдельных текстов и многоязычных потоков на английский. В README приведены тестовые оценки BLEU и chr-F для нескольких языковых пар; качество зависит от исходного языка и домена. Модель принимает и генерирует текст, не предназначена для других модальностей. Распространяется по лицензии Apache-2.0.

Helsinki-NLP выпустила OPUS-MT-NORTH_EU-NORTH_EU — модель машинного перевода на архитектуре MarianMT с плотной Transformer-моделью. Она переводит между немецким, нидерландским, западнофризским, африкаанс, датским, фарерским, исландским, норвежским (no, nb, nn) и шведским языками; целевой язык задаётся специальным начальным токеном вида >>id<<. Модель содержит 54,9 млн параметров, использует нормализацию и SentencePiece, поддерживает контекст длиной до 512 токенов и доступна в форматах PyTorch и TensorFlow. В README приведён результат BLEU 48,1 для направления немецкий–шведский на тестовом наборе Tatoeba. Модель предназначена для прикладного перевода текста между перечисленными североевропейскими языками. Распространяется по лицензии Apache-2.0. Результаты перевода могут зависеть от направления и тематики текста; для выбора языка перевода требуется корректно указать целевой языковой токен.

Helsinki-NLP/opus-mt-pa-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с пенджаби на английский и предназначена для перевода отдельных фраз и текстов. Модель основана на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece; число параметров — 55,8 млн, длина контекста — 512 токенов. В карточке приведены результаты на наборах JW300 и Tatoeba: BLEU 20,6 и 29,3 соответственно. Модель распространяется под лицензией Apache-2.0. Она предназначена для направления пакистанский пенджаби → английский; качество может различаться в зависимости от тематики и текста.

Helsinki-NLP/opus-mt-pl-de — модель машинного перевода с польского на немецкий из семейства OPUS-MT, разработанная Helsinki-NLP. Это трансформер MarianMT с архитектурой transformer-align, обученный на данных OPUS; перед обработкой текста применяются нормализация и SentencePiece. Модель содержит 56,1 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для перевода польских текстов на немецкий. В README приведены результаты тестирования на Tatoeba.pl.de: BLEU 47,8 и chr-F 0,665. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-pl-lt — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с польского языка на литовский и предназначена для перевода отдельных фраз и текстов между этими языками. Модель построена на архитектуре Transformer-align и реализована как MarianMTModel; содержит 55,6 млн параметров. Перед обработкой текст нормализуется и токенизируется SentencePiece с моделями на 32 тыс. токенов. В метаданных указан контекст длиной 512 токенов. На тесте Tatoeba-test.pol.lit указаны BLEU 43,7 и chr-F 0,688. Модель работает с одной языковой парой и не предназначена для перевода с литовского на польский или для других языков. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-pl-no — модель машинного перевода из семейства Marian, созданная проектом OPUS-MT Helsinki-NLP. Она переводит текст с польского языка на норвежский; целевой язык в карточке обозначен как Norwegian (букмол и нюнорск). Архитектура — Transformer-align, в репозитории доступны веса PyTorch и TensorFlow. Модель насчитывает 28,8 млн параметров, использует нормализацию и SentencePiece с словарями spm4k и рассчитана на контекст до 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с польского на норвежский. В тесте Tatoeba для пары польский—норвежский указаны BLEU 27,5 и chr-F 0,479. Лицензия — Apache-2.0. Ограничение: модель ориентирована на одну языковую пару, поэтому результаты могут быть менее надёжными для специализированной терминологии и текстов за пределами её обучающего распределения.

Helsinki-NLP разработала opus-mt-pl-sv — модель машинного перевода с польского языка на шведский. Она построена на архитектуре Transformer-align и относится к семейству Marian; для обработки текста применяются нормализация и SentencePiece. Модель содержит 55,2 млн параметров и рассчитана на контекст до 512 токенов. Модель обучена на данных OPUS. В карточке приведены результаты тестирования на наборе Tatoeba.pl.sv: BLEU 58,9 и chr-F 0,717. Она подходит для перевода отдельных фраз и текстов с польского на шведский. Распространяется по лицензии Apache-2.0.

Helsinki-NLP разработала opus-mt-sv-fi — модель машинного перевода со шведского языка на финский. Она предназначена для перевода предложений и текстовых фрагментов между этими языками. Модель построена на архитектуре Transformer-align в семействе MarianMT, содержит 56,2 млн параметров и использует нормализацию и токенизацию SentencePiece. Для обучения использованы данные OPUS и обратный перевод; указанный размер контекста — 512 токенов. Модель доступна в форматах PyTorch и TensorFlow. В карточке приведены оценки BLEU 26,9 на fiskmo_testset.sv.fi и 45,2 на Tatoeba.sv.fi. Лицензия — Apache-2.0. Качество перевода может зависеть от тематики и стиля входного текста; приведённые оценки относятся только к указанным тестовым наборам.

Это многоязычная модель машинного перевода из проекта OPUS-MT, разработанная исследовательской группой Language Technology Research Group Хельсинкского университета. Модель на базе архитектуры MarianMT типа transformer-big переводит с немецкого, английского, французского, португальского и испанского на широкий набор индоевропейских языков, включая современные, исторические и региональные языки. Модель предназначена для нейронного перевода текстов; её можно использовать для перевода материалов между указанными исходными языками и поддерживаемыми целевыми языками. Она содержит около 155,2 млн параметров, имеет контекст до 1024 токенов и доступна в форматах PyTorch и safetensors через библиотеку Transformers. Обучение выполнено на данных OPUS с применением конвейеров OPUS-MT-train; исходные модели проекта обучались с Marian NMT. Карточка перечисляет большое число целевых языков и меток, но качество может различаться между языковыми парами, особенно для низкоресурсных языков. Лицензия Apache-2.0.

Модель машинного перевода OPUS-MT, разработанная группой Language Technology Research Group Хельсинкского университета. Она переводит с немецкого, английского, французского, португальского и испанского на славянские языки, включая русский, украинский, польский, чешский, болгарский, сербский, хорватский и словенский. Для выбора целевого языка используются специальные языковые метки. Модель построена на архитектуре MarianMT в конфигурации transformer-big и содержит 162,1 млн параметров. Она обучена на данных OPUS и рассчитана на перевод текстов; доступная длина контекста — 1024 токена. Репозиторий содержит веса PyTorch и Safetensors для библиотеки Transformers. Модель подходит для многоязычного перевода, в том числе в сценариях с низкоресурсными славянскими языками. Разработчики отмечают, что исходный язык определяется автоматически из пяти поддерживаемых языков; качество может зависеть от языковой пары и текста. Лицензия — Apache-2.0.

Это многоязычная модель машинного перевода OPUS-MT из проекта OPUS-MT, разработанная группой Language Technology Research Group Хельсинкского университета. Она переводит между множеством языков и предназначена для сценариев, где нужны доступные нейросетевые переводы, в том числе для языков с ограниченными ресурсами. Модель построена на архитектуре MarianMT типа transformer-big, содержит 172 млн параметров, принимает текст и выдаёт текст. Она обучена на данных OPUS; заявленная длина контекста — 1024 токена. Модель доступна в форматах PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Поддержка языков и пар перевода неоднородна: для многих языков обучающих данных мало, качество сильно различается, а некоторые пары могут не работать. Поэтому результаты для редких языков следует проверять и не считать гарантированно пригодными для критичных задач.