I.6Перевод и языковая адаптация

jkorsvik/opus-mt-eng-nor — модель машинного перевода на базе архитектуры MarianMT, созданная проектом OPUS/Tatoeba Challenge и опубликованная пользователем jkorsvik. Она переводит текст с английского на норвежский букмол и нюнорск; для выбора варианта перевода перед предложением требуется указать целевой языковой токен, например соответствующий код языка. Модель содержит 52,9 млн параметров, использует Transformer и SentencePiece с нормализацией текста, а её контекст ограничен 512 токенами. Модель обучена на данных OPUS с обратными переводами, включая Tatoeba и материалы Википедии и других текстовых проектов. В README приведены оценки BLEU 56,4 для букмола и 40,3 для нюнорска на указанных тестовых наборах Tatoeba. Подходит для перевода предложений и текстовых фрагментов с английского на обе письменные формы норвежского. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-he — модель машинного перевода, разработанная Helsinki-NLP для перевода с английского языка на иврит. Она основана на архитектуре Marian и использует Transformer; в карточке указаны 58,9 млн параметров, контекст до 512 токенов и предобработку с нормализацией и SentencePiece. Модель обучена на данных OPUS и предназначена для перевода предложений и текстов с английского на иврит. В README приведён результат BLEU 40,1 и chr-F 0,609 на тестовом наборе Tatoeba.en.he. Модель принимает текст и выдаёт перевод текстом; поддерживаемая пара языков — en → he. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-hu — модель машинного перевода с английского на венгерский, разработанная в рамках проекта OPUS. Она основана на архитектуре Transformer и реализована как MarianMTModel; обучающие данные взяты из корпуса OPUS, а подготовка текста включает нормализацию и SentencePiece. Размер модели — 57,2 млн параметров, контекст — до 512 токенов. Модель предназначена для перевода предложений и текстов с английского языка на венгерский. В карточке приведён результат BLEU 40,1 и chr-F 0,628 на наборе Tatoeba.en.hu. Доступны веса PyTorch и TensorFlow. Модель распространяется по лицензии Apache 2.0.

Helsinki-NLP разработала opus-mt-en-mt — модель машинного перевода из семейства OPUS-MT на архитектуре MarianMT с трансформером и SentencePiece. Она переводит текст с английского на мальтийский; для нормализации входного текста применяется предварительная обработка. Модель насчитывает 53,9 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для перевода предложений и текстов общего назначения с английского на мальтийский. В README приведены результаты на тестовых наборах JW300.en.mt (BLEU 47,5) и Tatoeba.en.mt (BLEU 25,0). Распространяется по лицензии Apache-2.0.

Это модель машинного перевода OPUS-MT для перевода текста с английского на португальский, разработанная на базе Helsinki-NLP/opus-mt-tc-big-en-pt. Она использует архитектуру MarianMT и содержит 156,8 млн параметров; модель предназначена для работы через Transformers-совместимые инструменты Marian. Для неё указан контекст длиной до 1024 токенов и обучение на данных OPUS. Модель подходит для перевода документов, статей и пользовательских сообщений с английского на португальский. В карточке исходной модели приведены оценки BLEU 50,4 на flores101-devtest и 49,6 на tatoeba-test-v2021-08-07; эти результаты не проверялись независимо для данного репозитория. Качество может меняться в зависимости от тематики и стиля текста. Репозиторий содержит зеркальную публикацию исходных весов в safetensors без дополнительной конвертации или дообучения. Лицензия — CC BY 4.0.

Helsinki-NLP/opus-mt-en-ro — модель машинного перевода с английского на румынский, разработанная проектом OPUS и опубликованная организацией Helsinki-NLP. Она предназначена для перевода текстов и обучена на данных OPUS. Модель построена на архитектуре Transformer-align; предобработка включает нормализацию текста и SentencePiece. Веса объёмом 55,7 млн параметров доступны в форматах PyTorch и TensorFlow, лицензия — Apache-2.0. В карточке приведены результаты тестирования: BLEU 30,8 на newsdev2016-enro, 28,8 на newstest2016-enro и 45,3 на Tatoeba.en.ro. Контекст модели составляет 512 токенов. Она рассчитана на перевод с английского на румынский; другие направления перевода не заявлены.

Helsinki-NLP/opus-mt-en-uk — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на украинский и предназначена для автоматического перевода фраз и документов. Модель построена на архитектуре Transformer-align в реализации MarianMT; в метаданных указано 56,7 млн параметров и контекст до 512 токенов. При обработке применяются нормализация текста и SentencePiece. Для набора Tatoeba.en.uk в карточке приведены оценки BLEU 50,2 и chr-F 0,674. Модель обучена на данных OPUS и распространяется под лицензией Apache-2.0. Она подходит для перевода общего текста, но направление перевода ограничено английским → украинским; качество может различаться в зависимости от тематики и текста.

Helsinki-NLP/opus-mt-es-da — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с испанского языка на датский и предназначена для автоматического перевода предложений и документов. Модель построена на архитектуре Marian Transformer, содержит 54,6 млн параметров, использует нормализацию текста и токенизацию SentencePiece; длина контекста — 512 токенов. В карточке приведён результат BLEU 55,7 и chr-F 0,712 на тестовом наборе Tatoeba.es.da. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-es-de — модель машинного перевода с испанского на немецкий, разработанная в рамках проекта OPUS и основанная на архитектуре Marian Transformer. Она обучена на данных OPUS; перед переводом текст нормализуется и обрабатывается с помощью SentencePiece. Размер модели — 56,6 млн параметров, длина контекста — 512 токенов. В README приведён результат BLEU 50,0 на тестовом наборе Tatoeba.es.de. Модель предназначена для перевода предложений и текстов с испанского языка на немецкий. Доступны веса PyTorch и TensorFlow. Репозиторий распространяется по лицензии Apache-2.0. Карточка не сообщает об ограничениях качества или специальных областях применения.

Карточка модели mijuanlo/opus-mt-es-de на Hugging Face совпадает с карточкой Helsinki-NLP/opus-mt-es-de, поэтому описание составлено по ней. Helsinki-NLP/opus-mt-es-de — модель машинного перевода с испанского на немецкий, разработанная в рамках проекта OPUS и основанная на архитектуре Marian Transformer. Она обучена на данных OPUS; перед переводом текст нормализуется и обрабатывается с помощью SentencePiece. Размер модели — 56,6 млн параметров, длина контекста — 512 токенов. В README приведён результат BLEU 50,0 на тестовом наборе Tatoeba.es.de. Модель предназначена для перевода предложений и текстов с испанского языка на немецкий. Доступны веса PyTorch и TensorFlow. Репозиторий распространяется по лицензии Apache-2.0. Карточка не сообщает об ограничениях качества или специальных областях применения.

Helsinki-NLP/opus-mt-es-fr — модель машинного перевода из семейства Marian, разработанная проектом OPUS/Helsinki-NLP. Она переводит текст с испанского языка на французский и подходит для перевода отдельных фраз и документов. Модель построена на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece и содержит 63,5 млн параметров; длина контекста — до 512 токенов. Репозиторий содержит веса в форматах PyTorch и TensorFlow. В карточке приведены результаты тестирования на наборах новостных текстов: BLEU 32,0–33,6 и chr-F 0,585–0,610. Эти оценки относятся к указанным тестовым наборам и не гарантируют аналогичное качество на других темах и типах текста. Модель распространяется по лицензии Apache-2.0.

Карточка модели mijuanlo/opus-mt-es-ru на Hugging Face совпадает с карточкой Helsinki-NLP/opus-mt-es-ru, поэтому описание составлено по ней. Helsinki-NLP/opus-mt-es-ru — модель машинного перевода из испанского языка на русский, разработанная Helsinki-NLP в рамках проекта OPUS. Это Transformer-модель семейства MarianMT с архитектурой transformer-align, обученная на данных OPUS; перед обработкой применяются нормализация текста и токенизация SentencePiece. Размер модели — 57,6 млн параметров, максимальный контекст — 512 токенов. Доступны веса PyTorch и TensorFlow. Модель предназначена для перевода испанских текстов на русский, включая отдельные фразы и более длинные фрагменты в пределах контекста. В карточке приведены результаты на тестовых наборах newstest2012, newstest2013 и Tatoeba; качество зависит от тематики и формулировок текста. Распространяется по лицензии Apache-2.0.

Модель lenciclopedia/opus-mt-es-va-racv — нейронный переводчик с испанского (кастильского) на валенсийский язык по нормам RACV, известным как Normes d’El Puig. Она создана для автоматического перевода текстов и основана на архитектуре Marian / Opus-MT Seq2Seq. В метаданных указаны задача перевода, контекст 512 токенов, формат safetensors и языковой тег испанского; лицензия — MIT. Модель подходит для перевода испанских текстов на нормативный валенсийский с орфографией RACV. Карточка не сообщает о результатах оценки качества или дополнительных ограничениях, поэтому качество на конкретных жанрах и длинных текстах следует проверять отдельно.

opus-mt-et-en — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с эстонского языка на английский и построена на архитектуре MarianMT с трансформером; число параметров составляет 55,3 млн, а максимальная длина контекста — 512 токенов. Для нормализации текста и токенизации используется SentencePiece. Модель предназначена для перевода отдельных фраз и текстов, включая новости и короткие пользовательские тексты. В карточке приведены результаты на тестах новостного перевода и Tatoeba: BLEU 30,1–30,3 для новостных наборов и 59,9 для Tatoeba. Это опубликованные значения на конкретных тестах, а не гарантия качества для любых текстов. Модель распространяется по лицензии Apache 2.0.

Helsinki-NLP/opus-mt-fi-es — модель машинного перевода с финского языка на испанский, разработанная в рамках проекта OPUS. Это плотная Transformer-модель архитектуры MarianMT с 57,6 млн параметров; при обработке текста используются нормализация и SentencePiece. Для Tatoeba.fi.es в карточке приведены оценки BLEU 51,5 и chr-F 0,700. Модель предназначена для перевода предложений и текстов с финского на испанский. Длина контекста — до 512 токенов. Веса доступны в форматах PyTorch и TensorFlow; лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-fr-ha — модель машинного перевода с французского языка на хауса. Она основана на архитектуре Transformer и распространяется как MarianMTModel; для обработки текста использует нормализацию и SentencePiece. Модель обучена на данных OPUS и предназначена для перевода отдельных текстов и документов с французского на хауса. В метаданных указаны 55,6 млн параметров и контекст до 512 токенов. Для набора JW300.fr.ha в карточке приведены оценки BLEU 24,4 и chr-F 0,447. Модель доступна в форматах PyTorch и TensorFlow по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-fr-id — модель машинного перевода из французского языка на индонезийский, разработанная в рамках проекта OPUS. Это трансформерная модель архитектуры MarianMT с выравниванием, обученная на корпусе OPUS; для предобработки используются нормализация текста и SentencePiece. Число параметров — 54,3 млн, длина контекста — 512 токенов. Модель предназначена для перевода текстов с французского на индонезийский. В README приведены результаты на тестовом наборе Tatoeba.fr.id: BLEU 37,2 и chr-F 0,636. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-he-ru — модель машинного перевода с иврита на русский язык, опубликованная Helsinki-NLP в рамках проекта OPUS-MT. Это трансформер Marian с 57,6 млн параметров; модель принимает текст на иврите и генерирует перевод на русском. Для предварительной обработки используются нормализация и SentencePiece с отдельными словарями размером 32 тыс. токенов. Указанная длина контекста — 512 токенов. Модель предназначена для перевода отдельных текстов с иврита на русский. В README приведён результат BLEU 40,5 на тестовом наборе Tatoeba-test.heb.rus; качество может отличаться на других темах и типах текстов. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Ellight дообучил MarianMTModel Helsinki-NLP/opus-mt-hi-en на датасете open_subtitles для перевода с хинди на английский. Модель содержит 56,5 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Её можно использовать для перевода предложений и текстовых фрагментов с хинди на английский, в том числе субтитров. Модель распространяется в формате safetensors через библиотеку Transformers по лицензии Apache-2.0.

Ik45/opus-mt-id-ar-hybrid — гибридная модель машинного перевода с архитектурой MarianMT (кодировщик–декодировщик на основе Transformer), разработанная с помощью переноса компонентов OPUS-MT и последующего дообучения. Она переводит текст с индонезийского на арабский. Кодировщик взят из Helsinki-NLP/opus-mt-id-en, а декодер и общие эмбеддинги — из Helsinki-NLP/opus-mt-en-ar; модель содержит по 6 слоёв кодировщика и декодера, размер скрытого представления 512 и 8 голов внимания. Контекст — до 512 токенов, словарь целевого языка — 62 802 токена. Для дообучения использовались параллельные данные, включая Bible-uedin, Tanzil, NeuLab-TedTalks, TED2020 и QED. Подходит для перевода индонезийских текстов на арабский; лицензия Apache-2.0.

Helsinki-NLP/opus-mt-it-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с итальянского на английский и предназначена для перевода отдельных фраз и документов, включая новостные тексты и материалы общего назначения. Модель основана на архитектуре Marian Transformer с выравниванием, содержит 66,3 млн параметров и использует нормализацию текста и SentencePiece. Для обучения использован корпус OPUS; максимальная длина контекста — 512 токенов. В карточке приведены результаты на наборах newssyscomb2009, newstest2009 и Tatoeba. Модель доступна в форматах PyTorch и TensorFlow по лицензии Apache-2.0. Она предназначена для направления перевода итальянский—английский; карточка не подтверждает поддержку других языковых направлений.

Helsinki-NLP/opus-mt-it-es — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с итальянского на испанский и предназначена для автоматического перевода отдельных текстов и интеграции в приложения локализации. Модель построена на архитектуре Marian Transformer и содержит 55,4 млн параметров; для предобработки используются нормализация и SentencePiece. Длина контекста — до 512 токенов. В карточке приведён результат на тестовом наборе Tatoeba.it.es: BLEU 61,2 и chr-F 0,761. Модель поддерживает перевод только в направлении с итальянского на испанский. Лицензия Apache-2.0.

Helsinki-NLP/opus-mt-ja-da — модель машинного перевода с японского на датский из проекта OPUS-MT, основанная на архитектуре MarianMT. Она принимает японский текст и генерирует перевод на датском; обработка включает нормализацию и SentencePiece-токенизацию с моделями spm32k для исходного и целевого текста. Размер модели — 58,2 млн параметров, контекст — до 512 токенов. В тесте Tatoeba для направления японский—датский указаны BLEU 43,2 и chr-F 0,590. Модель выпущена под лицензией Apache-2.0.

Helsinki-NLP/opus-mt-ja-ru — модель машинного перевода с японского на русский, опубликованная Helsinki-NLP в рамках проекта OPUS-MT. Она построена на архитектуре MarianMT с трансформерной моделью выравнивания и содержит 58,4 млн параметров. Модель принимает японский текст, включая варианты записи кандзи, хираганой, катаканой и латиницей, и генерирует русский перевод. Для предварительной обработки используются нормализация и SentencePiece с словарями по 32 тыс. токенов; длина контекста — 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с японского языка на русский. В README приведён результат на наборе Tatoeba-test.jpn.rus: BLEU 23,2 и chr-F 0,441. Доступны веса в форматах PyTorch и TensorFlow. Лицензия Apache-2.0 разрешает использование, изменение и распространение на её условиях.

Helsinki-NLP/opus-mt-ja-vi — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с японского на вьетнамский и основана на архитектуре MarianMT с Transformer-align. Модель содержит 58,2 млн параметров, использует нормализацию и SentencePiece с словарями spm32k; длина контекста — 512 токенов. Модель предназначена для перевода японских текстов, включая варианты записи японского, вьетнамскими средствами. В карточке приведён результат на наборе Tatoeba-test.jpn.vie: BLEU 20,3 и chr-F 0,380. Доступна в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ka-ru — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с грузинского языка на русский и построена на архитектуре Transformer, реализованной как MarianMTModel. Модель содержит 37,1 млн параметров; для токенизации используются нормализация текста и SentencePiece с моделями словаря 12k. Указанная длина контекста — 512 токенов. Модель подходит для перевода отдельных фраз и текстов с грузинского на русский. В карточке приведён результат на тесте Tatoeba: BLEU 38,2 и chr-F 0,604. Опубликована под лицензией Apache-2.0; доступны форматы PyTorch и TensorFlow.

Helsinki-NLP/opus-mt-ko-fr — модель машинного перевода корейского текста на французский, опубликованная проектом Helsinki-NLP в рамках семейства OPUS-MT. Это плотная модель MarianMT на архитектуре Transformer-align с 58,4 млн параметров; использует нормализацию и SentencePiece с словарями spm32k. Модель рассчитана на перевод между корейским и французским языками, включая варианты записи корейского, указанные в карточке. Контекст составляет до 512 токенов. В тесте Tatoeba для пары ko→fr указаны BLEU 30,4 и chr-F 0,503. Модель подходит для перевода отдельных фраз и текстовых сегментов; эти тестовые показатели не гарантируют качество на других жанрах и тематиках. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ko-ru — модель машинного перевода на архитектуре Transformer, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с корейского на русский; источником могут быть корейские тексты на хангыле, латинице и других указанных для корейского письменностях. Для нормализации и разбиения текста используются SentencePiece-модели размером 32 тыс. токенов. Модель содержит 58,4 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для перевода сообщений, документов и других текстов с корейского языка на русский. В тесте Tatoeba для этой языковой пары указаны BLEU 30,3 и chr-F 0,514; результаты на других типах текстов могут отличаться. Лицензия — Apache-2.0.

opus-mt-mg-en — модель машинного перевода из семейства Marian, представленная Helsinki-NLP. Она переводит текст с малагасийского языка на английский и обучена на корпусе OPUS. Архитектура — Transformer-align; для обработки текста применяются нормализация и токенизация SentencePiece. Модель содержит 53,2 млн параметров, её контекст ограничен 512 токенами. Модель предназначена для перевода отдельных текстов и фраз с малагасийского на английский, в том числе материалов, похожих на данные GlobalVoices и Tatoeba. В карточке приведены результаты тестирования на этих наборах: BLEU 27,6 и 50,2 соответственно. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-nl-fi — модель машинного перевода нидерландского языка на финский, опубликованная проектом OPUS и распространяемая под лицензией Apache-2.0. Она основана на архитектуре Transformer и реализована как MarianMTModel; объём составляет 55,8 млн параметров, контекст — до 512 токенов. В обработке используются нормализация текста и SentencePiece. Модель предназначена для перевода текстов с нидерландского на финский. В README приведены результаты на наборе JW300.nl.fi: BLEU 28,6 и chr-F 0,569. Эти оценки относятся к указанному тестовому набору и не гарантируют аналогичного качества на других жанрах и доменах.