I.6Перевод и языковая адаптация

Helsinki-NLP/opus-mt-be-es — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с белорусского языка на испанский; модель обучена для этой языковой пары и не заявлена как многоязычная. В основе лежит архитектура Transformer-align, представленная в Transformers как MarianMTModel; размер составляет 29,1 млн параметров, длина контекста — до 512 токенов. Вход и результат — текст. Для предобработки используются нормализация и SentencePiece с словарями по 4 тыс. токенов. В тесте Tatoeba для пары белорусский—испанский указаны BLEU 11,8 и chr-F 0,272. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-bg-fi — модель машинного перевода на архитектуре Marian Transformer, разработанная для проекта OPUS. Она переводит текст с болгарского языка на финский. Модель содержит 55,9 млн параметров, использует нормализацию и токенизацию SentencePiece; указанная длина контекста — 512 токенов. Модель подходит для перевода отдельных текстов и фраз с болгарского на финский. В тесте JW300.bg.fi указаны результаты BLEU 23,7 и chr-F 0,505. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ca-de — модель машинного перевода, разработанная командой Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с каталанского языка на немецкий. Модель построена на архитектуре Transformer-align и использует нормализацию текста и SentencePiece с словарями размером 12 тысяч токенов для каждого языка; в метаданных указан размер 36,5 млн параметров и контекст до 512 токенов. Модель подходит для перевода отдельных фраз и текстов, в том числе в сценариях, где нужен автоматический перевод между каталанским и немецким. В README приведён результат BLEU 39,5 на тестовом наборе Tatoeba-test.cat.deu; этот показатель относится к конкретному набору и не гарантирует такое же качество на других текстах. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

opus-mt-ca-en — модель машинного перевода из семейства MarianMT, разработанная проектом OPUS-MT для перевода текстов с каталанского языка на английский. Модель построена на архитектуре Transformer-align и содержит 53,5 млн параметров. Для обработки текста применяются нормализация и токенизация SentencePiece; нативная длина контекста составляет 512 токенов. Модель предназначена для прямого перевода фраз и текстов с каталанского на английский. В карточке приведены результаты оценки на наборе Tatoeba.ca.en: BLEU 51,4 и chr-F 0,678. Доступны веса в форматах PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-da-fi — модель машинного перевода на архитектуре Transformer, разработанная проектом OPUS-MT. Она переводит текст с датского языка на финский и обучена на данных OPUS с нормализацией текста и токенизацией SentencePiece. Модель содержит 55,7 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для перевода предложений и текстовых фрагментов с датского на финский. В карточке приведён результат 39,0 BLEU и 0,629 chr-F на тестовом наборе Tatoeba.da.fi. Распространяется по лицензии Apache 2.0.

Helsinki-NLP/opus-mt-de-ar — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит немецкий текст на арабский и поддерживает выбор целевого варианта арабского языка с помощью специального токена в начале предложения: среди вариантов указаны современный стандартный арабский и несколько региональных форм, включая арабский Леванта, Египта и Алжира. Модель основана на архитектуре Marian Transformer и содержит 57,5 млн параметров; для предобработки используются нормализация и SentencePiece. Родной контекст — 512 токенов. Модель подходит для перевода отдельных предложений и текстовых фрагментов с немецкого на арабский. В опубликованной оценке на тестовом наборе Tatoeba для пары немецкий—арабский приведены BLEU 19,7 и chr-F 0,486. Это специализированный переводчик в одном направлении, поэтому его не следует считать универсальной многоязычной моделью или использовать для перевода с арабского на немецкий без отдельной модели. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-de-tl — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на тагальский; модель построена на архитектуре Transformer-align и реализована как MarianMTModel с примерно 56,1 млн параметров. Для обработки текста применяются нормализация и SentencePiece с отдельными словарями размером 32 тыс. токенов; контекст модели составляет 512 токенов. Модель подходит для перевода отдельных фраз и текстов с немецкого на тагальский. В README приведён результат BLEU 21,2 и chr-F 0,541 на тесте Tatoeba для этой языковой пары. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-eo — модель машинного перевода из семейства OPUS-MT, построенная на архитектуре MarianMT с Transformer и выравниванием. Она переводит текст с английского языка на эсперанто. Для предобработки используются нормализация и SentencePiece. Модель содержит 55,5 млн параметров и рассчитана на контекст до 512 токенов. Модель подходит для перевода предложений и текстов с английского на эсперанто. В README приведён результат BLEU 49,5 и chr-F 0,682 на тестовом наборе Tatoeba.en.eo. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-et — модель машинного перевода с английского на эстонский, основанная на архитектуре Marian и разработанная в рамках проекта OPUS. Она предназначена для перевода предложений и текстов с английского языка на эстонский; обратный перевод в карточке не заявлен. Модель использует Transformer с предварительной нормализацией текста и токенизацией SentencePiece. В ней 55,3 млн параметров, а длина контекста составляет 512 токенов. В README приведены оценки BLEU и chr-F на наборах новостных текстов и Tatoeba. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0. Качество зависит от тематики и длины текста; контекст ограничен 512 токенами, а метрики в карточке относятся к указанным тестовым наборам.

Helsinki-NLP/opus-mt-en-luo — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на луо и предназначена для автоматического перевода отдельных фраз и документов. Модель основана на архитектуре Transformer-align, использует нормализацию текста и токенизацию SentencePiece; содержит 51,9 млн параметров и рассчитана на контекст до 512 токенов. В карточке приведён результат 27,6 BLEU и 0,495 chr-F на тестовом наборе JW300.en.luo. Модель поддерживает перевод только в направлении с английского на луо. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-mul — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP на основе корпуса Tatoeba-Challenge. Она переводит текст с английского на множество целевых языков; язык перевода задаётся специальным токеном в начале входа в формате `>>id<<`, где id — код целевого языка. Модель построена на архитектуре Transformer и реализована как MarianMTModel. Веса доступны в форматах PyTorch и TensorFlow; размер составляет 58 млн параметров, длина контекста — 512 токенов. Модель предназначена для перевода предложений и коротких текстов с английского на сотни языков, включая русский. Карточка приводит оценки BLEU и chr-F на нескольких тестовых наборах, однако качество зависит от целевого языка и может быть низким для отдельных языковых пар. Для лицензии Apache-2.0 разрешено использование на её условиях.

Helsinki-NLP/opus-mt-en-ny — модель машинного перевода проекта OPUS, опубликованная Helsinki-NLP. Она переводит текст с английского языка на ньянджа (чичева) и предназначена для автоматического перевода отдельных фраз и текстов. Модель построена на архитектуре Transformer-align и использует предварительную нормализацию и токенизацию SentencePiece; число параметров — 55,8 млн, максимальная длина контекста — 512 токенов. В карточке приведены оценки BLEU 31,4 на JW300.en.ny и 26,8 на Tatoeba.en.ny, а также chr-F 0,570 и 0,645 соответственно. Модель принимает и выдаёт текст. Лицензия — Apache-2.0. Эти показатели относятся к указанным тестовым наборам и сами по себе не гарантируют качество перевода для других текстов.

Xenova/opus-mt-en-zh — модель машинного перевода с английского на китайский язык. Она основана на Helsinki-NLP/opus-mt-en-zh и подготовлена в формате ONNX для совместимости с библиотекой Transformers.js, включая использование в веб-приложениях и средах, поддерживающих выполнение ONNX-моделей. Модель предназначена для автоматического перевода текстов с английского на китайский. В предоставленных данных не указаны точная архитектура, количество параметров, поддерживаемый размер контекста, дополнительные модальности, численные характеристики качества или сильные стороны и ограничения перевода. Лицензия также не указана. Репозиторий с ONNX-весами описан как временное решение до более широкого распространения WebML.

Helsinki-NLP/opus-mt-en-zle — модель машинного перевода из проекта OPUS-MT, опубликованная Helsinki-NLP. Это трансформер Marian с 56,7 млн параметров, предназначенный для перевода с английского на восточнославянские языки: белорусский, русский, украинский, русинский, старославянский и латинизированный белорусский. Для выбора целевого языка в начале входа требуется специальный токен вида >>id<<; модель использует нормализацию и SentencePiece с словарями по 32 тыс. токенов. Модель принимает текст на английском и генерирует перевод на выбранном восточнославянском языке. В README приведены результаты на тестовых наборах англо-русского перевода, включая BLEU 27,4 для newstest2012. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0. Качество зависит от языка, тематики и формулировки исходного текста; результаты тестов англо-русского перевода не характеризуют одинаково качество для всех целевых языков. Нативный контекст ограничен 512 токенами, поэтому длинные тексты могут потребовать разбиения на фрагменты.

Карточка модели mijuanlo/opus-mt-es-it на Hugging Face совпадает с карточкой Helsinki-NLP/opus-mt-es-it, поэтому описание составлено по ней. Helsinki-NLP/opus-mt-es-it — модель машинного перевода с испанского на итальянский, опубликованная командой Helsinki-NLP и основанная на проекте OPUS-MT. Она использует архитектуру Marian Transformer и предназначена для перевода испанских текстов на итальянский; в обработке применяются нормализация и токенизация SentencePiece. Модель содержит 55,4 млн параметров, её контекст ограничен 512 токенами. В тесте Tatoeba.es.it указаны BLEU 55,9 и chr-F 0,751. Модель принимает текст на испанском и выдаёт перевод на итальянском. Распространяется под лицензией Apache-2.0; веса доступны в форматах PyTorch и TensorFlow. Карточка не описывает дополнительные языковые пары или специализированные предметные области.

Helsinki-NLP/opus-mt-et-ru — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с эстонского языка на русский и предназначена для прямого перевода отдельных фраз и текстов. Модель основана на архитектуре Transformer-align и реализована как MarianMT; использует нормализацию и SentencePiece с двумя словарями по 32 тысячи единиц. Размер — 57,4 млн параметров, длина контекста — 512 токенов. В карточке приведён результат BLEU 50,2 и chr-F 0,702 на тесте Tatoeba для направления эстонский—русский. Модель распространяется по лицензии Apache-2.0. Она специализирована на одной языковой паре и направлении перевода; качество может снижаться на длинных текстах, редкой лексике и темах, отличающихся от тестовых данных.

Helsinki-NLP/opus-mt-fr-vi — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Marian Transformer. Она переводит текст с французского на вьетнамский; обучение основано на данных проекта OPUS и Tatoeba-Challenge. Модель содержит 54,8 млн параметров, использует SentencePiece с нормализацией текста, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для перевода отдельных фраз и текстов, включая пользовательский контент и материалы для локализации. В карточке приведена оценка BLEU 31,1 и chr-F 0,486 на наборе Tatoeba-test.fra.vie. Лицензия — Apache-2.0. Она предназначена для направления французский → вьетнамский; качество может зависеть от тематики и формулировок текста.

Helsinki-NLP/opus-mt-hi-en — модель машинного перевода из семейства Marian, разработанная проектом OPUS и опубликованная организацией Helsinki-NLP. Она переводит текст с хинди на английский и предназначена для перевода предложений и текстовых фрагментов. Модель основана на архитектуре Transformer-align, обучена на данных OPUS, использует нормализацию и токенизацию SentencePiece. Веса содержат 56,5 млн параметров; максимальная длина контекста — 512 токенов. В карточке приведены результаты на тестовых наборах: BLEU 9,1 для newsdev2014, 13,6 для newstest2014 и 40,4 для Tatoeba. Качество зависит от тематики и формулировок; приведённые оценки показывают заметную разницу между наборами. Модель рассчитана на перевод с хинди на английский, а не на обратный перевод или другие языковые пары. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-hu-de — модель машинного перевода с венгерского языка на немецкий из семейства OPUS-MT, разработанная Helsinki-NLP. Она построена на архитектуре MarianMT с Transformer и предназначена для перевода предложений; при предобработке используются нормализация и SentencePiece. Модель насчитывает 55,2 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. В карточке приведён результат BLEU 44,1 и chr-F 0,637 на тестовом наборе Tatoeba.hu.de. Модель подходит для перевода венгерских текстов на немецкий, однако README не описывает её качество на других наборах данных или для текстов иных жанров. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-it-ar — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Она переводит текст с итальянского на арабский; двунаправленный перевод в карточке не заявлен. Модель построена на архитектуре Transformer и реализована как MarianMTModel; содержит 57,6 млн параметров, поддерживает контекст до 512 токенов и использует нормализацию текста и SentencePiece с словарями spm32k. Модель предназначена для перевода отдельных текстов и предложений между итальянским и арабским, в том числе для локализованных приложений и автоматизированных переводческих процессов. В README указан результат BLEU 21,9 на наборе Tatoeba-test.ita.ara; качество может отличаться на других тематиках и типах текста. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-it-bg — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с итальянского на болгарский; для предобработки используются нормализация и SentencePiece с моделью словаря 32k. Модель содержит 56,6 млн параметров, её контекст составляет 512 токенов. Модель подходит для перевода отдельных фраз и текстов с итальянского на болгарский. В README приведён результат BLEU 47,9 и chr-F 0,664 на наборе Tatoeba-test.ita.bul. Она не заявлена как мультиязычная и предназначена для одного направления перевода. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-it-vi — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с итальянского на вьетнамский и предназначена для автоматического перевода фраз и документов в приложениях, локализации и исследовательских сценариях. Архитектура — Transformer MarianMT с выравниванием, около 55,1 млн параметров; для токенизации используется SentencePiece с словарями spm32k. Максимальная длина контекста — 512 токенов. В тесте Tatoeba для пары итальянский—вьетнамский указаны BLEU 36,2 и chr-F 0,535. Модель поддерживает только направление перевода с итальянского на вьетнамский; результаты на тестовом наборе не гарантируют качество для всех жанров и предметных областей. Распространяется по лицензии Apache 2.0.

Helsinki-NLP/opus-mt-ja-pl — модель машинного перевода, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с японского на польский; направление перевода одноязычное в смысле фиксированной пары ja→pl. Модель основана на архитектуре Transformer-align и реализована как MarianMTModel; содержит 58,4 млн параметров и рассчитана на контекст до 512 токенов. Для обработки текста применяются нормализация и SentencePiece с сегментаторами spm32k для входного и выходного текста. Модель подходит для перевода японских фраз и документов на польский, включая текст с разными японскими письменностями. В карточке приведён результат BLEU 15,7 на Tatoeba-test.jpn.pol. Распространяется по лицензии Apache-2.0; среди доступных форматов указаны PyTorch и TensorFlow.

opus-mt-lg-en — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с языка луганда (lg) на английский (en) и основана на архитектуре MarianMT с Transformer и выравниванием. Модель обучена на данных OPUS; перед обработкой применяются нормализация текста и токенизация SentencePiece. Веса доступны в форматах PyTorch и TensorFlow, размер модели — 56,1 млн параметров, длина контекста — до 512 токенов. Модель предназначена для перевода текстов с луганда на английский. В карточке приведены результаты на тестовых наборах: BLEU 32,6 для JW300.lg.en и 5,4 для Tatoeba.lg.en, что показывает заметную зависимость качества от набора данных. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-lt-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с литовского языка на французский и основана на архитектуре Transformer-align, реализованной как MarianMTModel. Для подготовки текста используются нормализация и SentencePiece; модель содержит 55,3 млн параметров, её контекст ограничен 512 токенами. В карточке приведён результат BLEU 22,0 на тестовом наборе JW300.lt.fr. Модель подходит для перевода литовских текстов на французский в прикладных сценариях и исследовательских экспериментах. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-lt-ru — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с литовского языка на русский и построена на архитектуре Marian Transformer; число параметров составляет 57,4 млн, а длина контекста — 512 токенов. Для обработки текста используются нормализация и SentencePiece с моделями токенизации spm32k. Модель подходит для перевода литовских текстов и фраз на русский, в том числе в прикладных системах перевода. В карточке приведён результат BLEU 51,7 на Tatoeba-test.lit.rus; качество на других типах текстов этим показателем не описано. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-nl-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с нидерландского на английский и предназначена для автоматического перевода отдельных фраз и текстов. Модель построена на архитектуре Marian Transformer, содержит около 59,5 млн параметров и использует нормализацию текста и токенизацию SentencePiece. Максимальная длина контекста — 512 токенов. Для набора Tatoeba.nl.en в карточке приведены результаты BLEU 60,9 и chr-F 0,749. Модель принимает текст на нидерландском и выдаёт перевод на английском; другие языковые направления не заявлены. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-nl-sv — модель машинного перевода из проекта OPUS-MT на архитектуре Marian Transformer. Она переводит текст с нидерландского языка на шведский; для предобработки используются нормализация и SentencePiece. Модель содержит 54,2 млн параметров и имеет контекст длиной до 512 токенов. Модель подходит для перевода отдельных фраз и текстов между нидерландским и шведским. В README приведены результаты на тестовом наборе GlobalVoices.nl.sv: BLEU 25,0 и chr-F 0,518. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-pl-fr — модель машинного перевода на архитектуре MarianMT, разработанная командой Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с польского на французский и обучена на данных OPUS; перед обработкой применяются нормализация и токенизация SentencePiece. Модель основана на Transformer-align и содержит 55,9 млн параметров, её родной контекст составляет 512 токенов. Модель предназначена для автоматического перевода польских текстов на французский, в том числе для перевода отдельных фраз и предложений. В README приведена оценка BLEU 49,0 и chr-F 0,659 на тестовом наборе Tatoeba.pl.fr. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-sn-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с шона на английский. Модель основана на архитектуре Transformer и использует нормализацию текста и токенизацию SentencePiece; число параметров — 56,5 млн, контекст — до 512 токенов. Модель обучена на данных OPUS. В README приведён результат BLEU 51,8 и chr-F 0,648 на тестовом наборе JW300.sn.en. Она подходит для перевода фраз и текстов с шона на английский; обратный перевод не заявлен. Доступна под лицензией Apache-2.0.