I.6Перевод и языковая адаптация

Helsinki-NLP/opus-mt-da-fr — модель машинного перевода датского языка на французский из проекта OPUS. Это плотная модель архитектуры MarianMT на базе Transformer-align, обученная на данных OPUS; предобработка включает нормализацию и SentencePiece. Модель содержит 54,4 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для перевода датских текстов на французский, например предложений и коротких документов. В карточке приведены результаты оценки на Tatoeba.da.fr: BLEU 62,2 и chr-F 0,751. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-de-pl — модель машинного перевода немецкого текста на польский язык из семейства MarianMT, разработанная Helsinki-NLP на основе архитектуры Transformer. Она обучена на данных OPUS; предварительная обработка включает нормализацию текста и SentencePiece. Модель содержит 56,1 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для перевода с немецкого на польский. В карточке приведены результаты на тестовом наборе Tatoeba.de.pl: BLEU 41,2 и chr-F 0,631. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-bg — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на болгарский; модель также поддерживает целевой вариант болгарского языка на латинице. Архитектура — Transformer на базе MarianMT, размер — 56,8 млн параметров, длина контекста — 512 токенов. Для целевого языка перед началом предложения требуется специальный токен вида `>>id<<`; входной текст проходит нормализацию и токенизацию SentencePiece с моделью на 32 тыс. элементов. Модель подходит для перевода предложений и текстовых фрагментов с английского на болгарский, в том числе в приложениях и пакетной обработке. В тесте Tatoeba для пары английский—болгарский указаны BLEU 50,6 и chr-F 0,680. Контекст ограничен 512 токенами, а направление перевода — английский в болгарский. Лицензия — Apache-2.0; доступны форматы PyTorch и TensorFlow.

Helsinki-NLP/opus-mt-en-ca — модель машинного перевода OPUS, разработанная Helsinki-NLP. Она переводит текст с английского на каталанский и предназначена для автоматического перевода фраз и документов в прикладных системах. Модель основана на архитектуре Transformer-align и реализована как MarianMTModel; в обучении использован набор данных OPUS, а предобработка включает нормализацию и SentencePiece. Размер модели — 53,5 млн параметров, длина контекста — до 512 токенов. Для набора Tatoeba.en.ca в карточке приведены оценки BLEU 47,2 и chr-F 0,665. Модель принимает и выдаёт текст, поддерживает английский как исходный язык и каталанский как целевой. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-el — модель машинного перевода с английского на греческий, разработанная проектом OPUS и представленная организацией Helsinki-NLP. Это модель архитектуры MarianMT на базе Transformer-align, обученная на данных OPUS; для предобработки используются нормализация и SentencePiece. Модель содержит 58,4 млн параметров, поддерживает перевод текста и имеет контекст длиной до 512 токенов. Модель предназначена для перевода английских текстов на греческий, в том числе отдельных фраз и предложений. В README приведён результат BLEU 56,4 и chr-F 0,745 на тестовом наборе Tatoeba.en.el. Веса доступны в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-gl — модель машинного перевода OPUS-MT от Helsinki-NLP для перевода с английского на галисийский. Она построена на архитектуре MarianMT с Transformer, использует нормализацию текста и токенизацию SentencePiece и содержит 53,6 млн параметров. Максимальная длина контекста — 512 токенов. Модель предназначена для перевода предложений и текстов с английского на галисийский; в карточке приведён результат BLEU 36,4 на наборе Tatoeba.en.gl. Доступны веса PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-ha — модель машинного перевода на архитектуре Transformer, разработанная в рамках проекта OPUS и выпущенная Helsinki-NLP. Она переводит текст с английского языка на хауса. Модель обучена на данных OPUS; перед подачей текста используются нормализация и токенизация SentencePiece. Модель содержит 54,9 млн параметров и рассчитана на контекст до 512 токенов. В карточке приведены результаты на тестовых наборах JW300 и Tatoeba: BLEU 34,1 и 17,6 соответственно. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0, допускающая коммерческое использование при соблюдении её условий.

Helsinki-NLP/opus-mt-en-it — модель машинного перевода, разработанная Helsinki-NLP в рамках семейства OPUS-MT. Она переводит текст с английского на итальянский и подходит для перевода документов, новостных материалов и коротких фраз. Модель построена на архитектуре Transformer и использует предобработку с нормализацией и SentencePiece; в обучении использован корпус OPUS. Веса доступны в форматах PyTorch и TensorFlow, число параметров — 66,1 млн, длина контекста — 512 токенов. В карточке приведены оценки BLEU 30,9–31,9 для тестов новостного перевода и 48,2 для Tatoeba. Модель предназначена для направления английский → итальянский; качество может зависеть от тематики и стиля исходного текста. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-jap — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на японский и предназначена для автоматического перевода предложений и текстовых материалов. Модель построена на архитектуре MarianMT с Transformer, содержит 48,9 млн параметров, использует нормализацию и токенизацию SentencePiece; максимальная длина контекста — 512 токенов. Модель обучена на корпусе OPUS. В карточке приведены результаты тестирования на наборе bible-uedin.en.jap: BLEU 42,1 и chr-F 0,960. Весовые файлы доступны для PyTorch и TensorFlow. Лицензия — Apache-2.0. Модель ориентирована на перевод с английского на японский; показатели на одном тестовом наборе не гарантируют такое же качество для других жанров и предметных областей.

Helsinki-NLP/opus-mt-en-mk — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на македонский и предназначена для автоматического перевода фраз и документов. Модель основана на архитектуре Marian Transformer-align, содержит 56,9 млн параметров и использует нормализацию текста и токенизацию SentencePiece. Для оценки приведён результат BLEU 52,1 и chr-F 0,683 на наборе Tatoeba.en.mk. Модель принимает текст на английском и выдаёт текст на македонском. Лицензия Apache-2.0 разрешает свободное использование с соблюдением её условий. Контекст модели составляет 512 токенов, поэтому длинные тексты могут потребовать разбиения на фрагменты.

Helsinki-NLP/opus-mt-en-nl — модель машинного перевода, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с английского языка на нидерландский и подходит для автоматического перевода предложений и текстов в приложениях и рабочих процессах обработки языковых данных. Модель основана на архитектуре Transformer и реализована как MarianMTModel. Она содержит 59,5 млн параметров, использует нормализацию и SentencePiece для предобработки текста, а длина контекста составляет 512 токенов. В карточке приведён результат BLEU 57,1 и chr-F 0,730 на тестовом наборе Tatoeba.en.nl. Модель предназначена для перевода в одном направлении: с английского на нидерландский. Лицензия Apache-2.0 разрешает её использование на условиях этой лицензии.

BlackKakapo разработала дообученную модель машинного перевода на основе Helsinki-NLP/opus-mt-en-ro. Модель переводит текст с английского на румынский и построена на архитектуре Marian; она содержит 55,7 млн параметров и рассчитана на контекст до 512 токенов. Модель дообучена на полном наборе данных ccmatrix. В README приведено сравнение на тестовом наборе Helsinki-NLP/tatoeba_mt: BLEU модели составляет 0,53118, тогда как у исходной Helsinki-NLP/opus-mt-en-ro — 0,45844. Модель доступна в форматах PyTorch и Safetensors по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-xh — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на коса (xh). Модель построена на архитектуре Transformer-align с реализацией MarianMTModel и содержит 56,5 млн параметров; для предобработки используются нормализация и SentencePiece, контекст составляет 512 токенов. Модель предназначена для перевода отдельных текстов и материалов с английского на коса. В карточке приведены результаты оценки на наборе JW300.en.xh: BLEU 37,9 и chr-F 0,652. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-zh — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на основе Transformer и реализованная архитектурой MarianMT. Она переводит текст с английского на китайский; для выбора целевого варианта китайского перед началом предложения требуется языковой токен вида `>>id<<`. Модель содержит 58,4 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов и имеет контекст до 512 токенов. Модель ориентирована на перевод предложений и текстовых фрагментов. Карточка перечисляет варианты китайского, включая мандаринский, кантонский, уский, ганьский, юэский и классический китайский, в упрощённой и традиционной письменности для поддерживаемых вариантов. В тесте Tatoeba для пары английский—китайский указаны BLEU 31,4 и chr-F 0,268; результаты зависят от тематики и формулировок текста. Доступны веса PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-eu — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Marian (MarianMTModel). Она переводит текст с испанского языка на баскский. Модель содержит 54,9 млн параметров, использует нормализацию и SentencePiece с токенизаторами размером 32 тыс. элементов; длина контекста составляет 512 токенов. Модель подходит для перевода отдельных фраз и текстов, в том числе испанских предложений для баскской аудитории. В README приведён результат BLEU 37,0 на тестовом наборе Tatoeba-test.spa.eus. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-ru — модель машинного перевода из испанского языка на русский, разработанная Helsinki-NLP в рамках проекта OPUS. Это Transformer-модель семейства MarianMT с архитектурой transformer-align, обученная на данных OPUS; перед обработкой применяются нормализация текста и токенизация SentencePiece. Размер модели — 57,6 млн параметров, максимальный контекст — 512 токенов. Доступны веса PyTorch и TensorFlow. Модель предназначена для перевода испанских текстов на русский, включая отдельные фразы и более длинные фрагменты в пределах контекста. В карточке приведены результаты на тестовых наборах newstest2012, newstest2013 и Tatoeba; качество зависит от тематики и формулировок текста. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-es-uk — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Она переводит текст с испанского языка на украинский и предназначена для автоматического перевода предложений и коротких текстов. Модель основана на архитектуре Transformer-align и реализована как MarianMTModel; содержит 57,1 млн параметров, использует нормализацию и SentencePiece с словарями spm32k. Контекст составляет до 512 токенов. Для тестового набора Tatoeba-test.spa.ukr указаны BLEU 41,3 и chr-F 0,614. Модель принимает испанский текст и выдаёт украинский перевод. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-fi-sv — модель машинного перевода с финского языка на шведский из семейства OPUS-MT, разработанная Helsinki-NLP. Это плотная модель MarianMT с архитектурой Transformer; число параметров — 56,6 млн, контекст — до 512 токенов. Текст проходит нормализацию и токенизацию SentencePiece. Модель обучена на данных OPUS+BT; в карточке приведены оценки BLEU 27,4 на fiskmo_testset.fi.sv и 54,7 на Tatoeba.fi.sv. Модель предназначена для перевода финских текстов на шведский, включая предложения и материалы для многоязычных сервисов и локализации. Доступны веса PyTorch и TensorFlow. Лицензия — Apache 2.0.

Helsinki-NLP/opus-mt-fr-kg — модель машинного перевода семейства MarianMT, разработанная в рамках проекта OPUS. Она переводит текст с французского на кыргызский. Модель построена на архитектуре Transformer-align, использует нормализацию и SentencePiece; число параметров — 50,2 млн, контекст — до 512 токенов. Модель предназначена для перевода фраз и документов с французского языка на кыргызский. В карточке приведён результат BLEU 30,4 и chr-F 0,523 на тестовом наборе JW300.fr.kg. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-it-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с итальянского языка на французский и предназначена для перевода отдельных фраз и документов. Модель построена на архитектуре MarianMT с Transformer и использует нормализацию текста и токенизацию SentencePiece. Размер модели — 55,6 млн параметров, длина контекста — 512 токенов. В карточке приведены результаты на наборе Tatoeba.it.fr: BLEU 67,9 и chr-F 0,792. Модель доступна в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ja-en — модель машинного перевода японского текста на английский, созданная Helsinki-NLP в рамках проекта OPUS. Она основана на архитектуре Transformer-align и использует библиотеку Marian; при обработке применяются нормализация текста и токенизация SentencePiece. Размер модели — 56,3 млн параметров, контекст — до 512 токенов. Метаданные указывают поддержку PyTorch и TensorFlow. Модель предназначена для перевода предложений с японского на английский. В карточке приведены результаты оценки на наборе Tatoeba.ja.en: BLEU 41,7 и chr-F 0,589. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-jap-en — модель машинного перевода с японского языка на английский, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она предназначена для перевода текстов и построена на архитектуре Transformer-align; в репозитории указана реализация MarianMT. Модель содержит 48,9 млн параметров и использует нормализацию текста и токенизацию SentencePiece. Контекст ограничен 512 токенами. Модель обучена на данных OPUS. В карточке приведён результат BLEU 52,6 и chr-F 0,703 на тестовом наборе bible-uedin.jap.en. Весовые файлы доступны в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0, допускающая коммерческое использование при соблюдении её условий.

Helsinki-NLP/opus-mt-ko-de — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с корейского языка на немецкий и основана на архитектуре MarianMT с трансформером и предварительной обработкой через нормализацию и SentencePiece. Модель обучалась на данных OPUS; в тесте Tatoeba.ko.de указаны результаты BLEU 30,2 и chr-F 0,523. Модель содержит около 57 млн параметров, рассчитана на контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Подходит для перевода фраз и текстов с корейского на немецкий, в том числе для локализованных материалов и многоязычных приложений. Лицензия — Apache-2.0. Оценка на одном тестовом наборе не гарантирует такого же качества на других тематиках и типах текстов.

Helsinki-NLP/opus-mt-nl-fr — модель машинного перевода, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с нидерландского языка на французский. Модель основана на архитектуре Transformer-align семейства Marian, использует нормализацию текста и SentencePiece; число параметров — 54,7 млн, максимальная длина контекста — 512 токенов. Доступны веса в форматах PyTorch и TensorFlow. Модель предназначена для перевода предложений и текстов с нидерландского на французский. В карточке приведён результат 51,3 BLEU и 0,674 chr-F на наборе Tatoeba.nl.fr. Модель выпущена под лицензией Apache-2.0. Показатели на конкретном тестовом наборе не гарантируют такое же качество на текстах других жанров и предметных областей.

Helsinki-NLP/opus-mt-no-es — модель машинного перевода из семейства MarianMT, опубликованная Helsinki-NLP для перевода с норвежского на испанский. Она построена на архитектуре Transformer и обучена для пары языков no-es; исходный язык охватывает букмол и нюнорск, целевой — испанский. Для обработки текста применяются нормализация и токенизация SentencePiece с словарями по 12 тысяч единиц. Модель содержит 36,4 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для перевода текстов и сообщений с норвежского на испанский. В карточке приведён результат BLEU 34,2 и chr-F 0,565 на тесте Tatoeba-test.nor.spa. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

Helsinki-NLP разработала эту модель в рамках проекта OPUS-MT для машинного перевода с болгарского языка на английский. Это большая версия модели на архитектуре Transformer, реализованная через Marian NMT; в Hugging Face она представлена классом MarianMTModel. Модель обучена на данных OPUS с использованием корпуса opusTCv20210807+bt и токенизации SentencePiece с моделью словаря 32k. Размер составляет 162,5 млн параметров, родной контекст — 1024 токена. Модель подходит для перевода болгарских предложений и текстов на английский, например для локализации материалов или подготовки чернового перевода. В карточке приведены результаты на тестовых наборах Tatoeba и FLORES-101. Поддерживается направление bg→en; качество на других языках и для обратного перевода не заявлено. Лицензия — CC BY 4.0.

OPUS-MT tc-big-en-pt — модель машинного перевода проекта OPUS-MT, разработанная с использованием Marian NMT и опубликованная в формате Transformers. Она переводит текст с английского на португальский; в карточке также указаны целевые метки pob и por. Модель содержит 156,8 млн параметров, имеет архитектуру MarianMT и контекст до 1024 токенов. Модель предназначена для перевода предложений и текстов, включая сценарии с англо-португальской локализацией и интеграцию в приложения на базе Transformers. В README приведены результаты на тестовых наборах Tatoeba и FLORES-101. Веса доступны по лицензии CC BY 4.0.

Helsinki-NLP/opus-mt-tc-big-fr-en — модель машинного перевода проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с французского на английский и подходит для перевода предложений и текстовых коллекций, в том числе в приложениях на базе Transformers. Модель построена на архитектуре Transformer-big и реализована как MarianMTModel. Веса исходно обучены средствами Marian NMT на данных OPUS с использованием конвейера OPUS-MT-train; токенизация выполняется SentencePiece. Размер модели — 155 млн параметров, родная длина контекста — 1024 токена. Модель принимает и выдаёт текст; поддерживаемая языковая пара — французский → английский. В карточке приведены результаты оценки на наборах Tatoeba, FLORES-101 и Multi30k. Модель распространяется по лицензии CC BY 4.0; при использовании авторы просят цитировать публикации OPUS-MT и Tatoeba Translation Challenge.

Helsinki-NLP/opus-mt-tc-big-he-en — модель машинного перевода проекта OPUS-MT для перевода с иврита на английский. Исходную модель разработали с использованием Marian NMT; опубликованная версия преобразована для Transformers и PyTorch. Архитектура — Transformer-big на базе Marian, около 162,4 млн параметров; для токенизации используется SentencePiece с словарями spm32k. Метаданные указывают контекстное окно 1024 токена. Модель предназначена для перевода предложений и текстов с иврита на английский. Она обучена на данных OPUS, включая opusTCv20210807+bt, и сопровождается результатами оценки на Tatoeba и FLORES-101. В репозитории доступны веса PyTorch, Safetensors и TensorFlow. Лицензия — CC BY 4.0.

Карточка модели suirenka/opus-mt-tc-big-zh-ja на Hugging Face совпадает с карточкой Helsinki-NLP/opus-mt-tc-big-zh-ja, поэтому описание составлено по ней. Helsinki-NLP/opus-mt-tc-big-zh-ja — модель машинного перевода проекта OPUS-MT, разработанная исследовательской группой Language Technology Research Group Хельсинкского университета. Она переводит текст с китайского языка на японский и предназначена для перевода предложений и текстов в приложениях и рабочих процессах локализации. Модель использует архитектуру Marian Transformer-big; в метаданных указано 133,4 млн параметров и контекст до 1024 токенов. Она обучалась на данных OPUS с предварительной обработкой SentencePiece и доступна в форматах PyTorch, Safetensors и TensorFlow. В опубликованной оценке на наборе Tatoeba zho-ja указаны BLEU 24,6 и chr-F 0,2779. Лицензия — CC-BY-4.0. Оценка на одном тестовом наборе не гарантирует сопоставимого качества на других тематиках и стилях; для важных переводов результат следует проверять.