I.6Перевод и языковая адаптация

Helsinki-NLP/opus-mt-en-fr — модель машинного перевода, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с английского на французский и предназначена для автоматического перевода отдельных текстов и интеграции в системы перевода. Модель построена на архитектуре Transformer-align с использованием MarianMT; число параметров — 55,6 млн, максимальный контекст — 512 токенов. При обучении применялись нормализация текста и SentencePiece, а в карточке приведены результаты оценки на нескольких тестовых наборах OPUS. Модель поддерживает только направление перевода en→fr. Весы доступны в форматах PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-ht — модель машинного перевода из семейства OPUS-MT, разработанная проектом Helsinki-NLP. Она переводит текст с английского языка на гаитянский креольский. Модель построена на архитектуре Marian Transformer; в репозитории представлены веса PyTorch и TensorFlow. Размер модели — 49,6 млн параметров, длина контекста — до 512 токенов. При подготовке текста используются нормализация и SentencePiece. Модель предназначена для перевода предложений и текстовых фрагментов в пользовательских приложениях и рабочих процессах локализации. В README приведены результаты на тестовых наборах JW300 и Tatoeba: BLEU 38,3 и 45,2 соответственно. Модель обучена на данных OPUS. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-lg — модель машинного перевода из семейства MarianMT, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с английского языка на луганда. Модель основана на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece; число параметров — 56,1 млн, контекст — до 512 токенов. Модель предназначена для перевода текстов с английского на луганда. В карточке приведены результаты на тестовых наборах JW300 и Tatoeba: BLEU 30,4 и 5,7 соответственно, поэтому качество зависит от тематики и данных. Доступна под лицензией Apache 2.0.

Helsinki-NLP/opus-mt-en-ln — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на лингала. Модель основана на архитектуре Transformer-align и использует нормализацию и токенизацию SentencePiece; число параметров составляет 55 млн, исходная длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow. Модель предназначена для перевода отдельных текстов и интеграции в приложения или конвейеры локализации с направлением перевода en→ln. В карточке приведены результаты оценки на наборе JW300.en.ln: BLEU 36,7 и chr-F 0,588. Модель распространяется по лицензии Apache-2.0. Качество может зависеть от тематики и стиля входного текста; заявлено одно направление перевода.

Helsinki-NLP/opus-mt-en-ml — модель машинного перевода семейства Marian, разработанная Helsinki-NLP для перевода с английского языка на малаялам. Модель построена на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece и содержит 37,8 млн параметров. Для запуска доступны веса PyTorch и TensorFlow; максимальная длина контекста — 512 токенов. Модель обучена на данных OPUS и обратного перевода. Она подходит для перевода текстов с английского на малаялам, включая отдельные фразы и предложения; в README приведён результат BLEU 19,1 на тесте Tatoeba.en.ml. Лицензия — Apache-2.0.

Sams200/opus-mt-en-ru — версия модели машинного перевода opus-mt-en-ru, преобразованная из формата Helsinki-NLP в формат CTranslate2. Модель разработана Helsinki-NLP в рамках проекта OPUS-MT и предназначена для перевода текста с английского на русский. Репозиторий содержит веса CTranslate2 и SentencePiece-модели для исходного и целевого языков. Модель подходит для локального машинного перевода и интеграции в приложения, использующие CTranslate2. Лицензия — CC-BY-4.0. README не сообщает численный размер модели или длину контекста.

Helsinki-NLP/opus-mt-en-sn — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на шона. Модель построена на архитектуре Transformer-align и использует нормализацию текста и токенизацию SentencePiece; число параметров составляет 56,5 млн, длина контекста — до 512 токенов. Модель предназначена для перевода английских текстов на шона. В карточке приведена оценка BLEU 38,0 и chr-F 0,646 на тестовом наборе JW300.en.sn. Доступны веса PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-st — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Она переводит текст с английского языка на сесото и предназначена для автоматического перевода фраз и документов в сервисах и рабочих процессах обработки текста. Модель построена на архитектуре Marian Transformer с выравниванием, использует нормализацию и токенизацию SentencePiece. В метаданных указаны 54,5 млн параметров, контекст до 512 токенов и лицензия Apache-2.0. В README приведён результат BLEU 49,8 на тестовом наборе JW300.en.st; этот показатель относится к указанному набору и не гарантирует аналогичное качество на других текстах.

Helsinki-NLP/opus-mt-en-trk — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на несколько тюркских языков и вариантов письма; перед переводом нужно добавить в начало входного текста токен целевого языка в формате >>id<<. Модель основана на архитектуре Transformer и реализована как MarianMTModel. Она содержит 56,7 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов и рассчитана на контекст до 512 токенов. Доступны веса PyTorch и TensorFlow. В целевые языки входят азербайджанский, башкирский, чувашский, крымскотатарский, казахский, киргизский, татарский, туркменский, турецкий, тувинский, уйгурский и узбекский. Модель предназначена для перевода предложений и текстов с английского на указанные тюркские языки. В README приведены результаты оценки BLEU и chr-F на наборах новостных текстов, однако качество может различаться между целевыми языками и вариантами письма. Лицензия — Apache-2.0.

steve-tong/opus-mt-en-zh-tw — дообученная модель MarianMT, созданная на основе Helsinki-NLP/opus-mt-en-zh. Она предназначена для машинного перевода текста с английского на китайский традиционным письмом. Модель содержит 58,4 млн параметров, работает с текстом и имеет контекстное окно 512 токенов. Модель может использоваться для перевода коротких фрагментов, сообщений и документов с английского на китайский традиционным письмом. В README не приведены сведения о датасете, оценках качества или специальных ограничениях. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-ar — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с испанского на арабский и основана на архитектуре Transformer, реализованной как MarianMTModel. Модель содержит 57,2 млн параметров; для обработки текста использует нормализацию и SentencePiece с словарями размером 32 тыс. токенов. Контекст — до 512 токенов. Модель подходит для перевода предложений и текстов с испанского на арабский. В README указан тестовый результат на Tatoeba: BLEU 20,0 и chr-F 0,517. Для выбора варианта целевого языка перед текстом требуется языковой маркер вида `>>id<<`; README перечисляет варианты арабского, включая apc, ara и arq. Репозиторий содержит форматы PyTorch и TensorFlow. Лицензия — Apache-2.0.

Карточка модели mijuanlo/opus-mt-es-ar на Hugging Face совпадает с карточкой Helsinki-NLP/opus-mt-es-ar, поэтому описание составлено по ней. Helsinki-NLP/opus-mt-es-ar — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с испанского на арабский и основана на архитектуре Transformer, реализованной как MarianMTModel. Модель содержит 57,2 млн параметров; для обработки текста использует нормализацию и SentencePiece с словарями размером 32 тыс. токенов. Контекст — до 512 токенов. Модель подходит для перевода предложений и текстов с испанского на арабский. В README указан тестовый результат на Tatoeba: BLEU 20,0 и chr-F 0,517. Для выбора варианта целевого языка перед текстом требуется языковой маркер вида `>>id<<`; README перечисляет варианты арабского, включая apc, ara и arq. Репозиторий содержит форматы PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-en — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с испанского на английский; направление перевода одноязычное в смысле пары языков: испанский → английский. Модель основана на архитектуре Transformer и реализована как MarianMTModel. Размер — 58,4 млн параметров, длина контекста — 512 токенов. Для предобработки применяются нормализация текста и SentencePiece с словарями по 32 тыс. элементов. В карточке приведены результаты на нескольких тестовых наборах новостных текстов. Подходит для перевода испанских фраз и документов на английский, в том числе в составе приложений на Transformers. Модель не предназначена для обратного перевода с английского на испанский; качество может зависеть от тематики и стиля исходного текста. Лицензия — Apache-2.0.

Карточка модели mijuanlo/opus-mt-es-fr на Hugging Face совпадает с карточкой Helsinki-NLP/opus-mt-es-fr, поэтому описание составлено по ней. Helsinki-NLP/opus-mt-es-fr — модель машинного перевода из семейства Marian, разработанная проектом OPUS/Helsinki-NLP. Она переводит текст с испанского языка на французский и подходит для перевода отдельных фраз и документов. Модель построена на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece и содержит 63,5 млн параметров; длина контекста — до 512 токенов. Репозиторий содержит веса в форматах PyTorch и TensorFlow. В карточке приведены результаты тестирования на наборах новостных текстов: BLEU 32,0–33,6 и chr-F 0,585–0,610. Эти оценки относятся к указанным тестовым наборам и не гарантируют аналогичное качество на других темах и типах текста. Модель распространяется по лицензии Apache-2.0.

Карточка модели mijuanlo/opus-mt-es-ro на Hugging Face совпадает с карточкой Helsinki-NLP/opus-mt-es-ro, поэтому описание составлено по ней. Helsinki-NLP/opus-mt-es-ro — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с испанского языка на румынский и основана на архитектуре Transformer-align. Для предобработки используются нормализация текста и SentencePiece; модель содержит 53,9 млн параметров и имеет контекстное окно 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с испанского на румынский. В README приведён результат BLEU 45,7 и chr-F 0,666 на наборе Tatoeba.es.ro. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-et-fi — модель машинного перевода эстонского языка на финский, созданная проектом OPUS. Она использует архитектуру Transformer в реализации Marian и обучена на данных OPUS. Предобработка включает нормализацию текста и SentencePiece; размер модели составляет 54,9 млн параметров, а длина контекста — 512 токенов. Модель предназначена для перевода текстов с эстонского на финский. В README приведена оценка BLEU 26,6 и chr-F 0,546 на тестовом наборе JW300.et.fi. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-eu-es — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Она переводит текст с баскского языка на испанский; модель построена на архитектуре MarianMT с Transformer и использует нормализацию и токенизацию SentencePiece с словарями размером 32 тыс. токенов. Веса доступны в форматах PyTorch и TensorFlow. Модель содержит 54,9 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для перевода отдельных фраз и текстов с баскского на испанский. В README приведён результат BLEU 48,8 на наборе Tatoeba для этой языковой пары. Лицензия — Apache-2.0, допускающая использование и распространение на её условиях.

Helsinki-NLP/opus-mt-fi-ru — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с финского языка на русский и подходит для перевода отдельных фрагментов, документов и материалов из корпуса OPUS. Модель построена на архитектуре Marian Transformer и содержит 57,3 млн параметров. Для предобработки используются нормализация текста и SentencePiece; максимальная длина контекста — 512 токенов. В README приведён результат 46,3 BLEU на тестовом наборе Tatoeba.fi.ru. Модель принимает текст на финском и выдаёт перевод на русском. Доступна под лицензией Apache-2.0. Качество зависит от тематики и формулировок исходного текста; опубликованная оценка относится к указанному тестовому набору и не гарантирует аналогичного качества на других данных.

Helsinki-NLP/opus-mt-fr-ar — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMTModel. Она переводит текст с французского языка на арабский и несколько его вариантов; для выбора целевого варианта перед текстом требуется токен языка в формате >>id<<. Модель содержит 57,1 млн параметров, использует нормализацию и SentencePiece с подсловным словарём 32k, поддерживает контекст до 512 токенов. Доступны веса PyTorch и TensorFlow. Модель подходит для перевода предложений и текстов с французского на арабский, включая варианты apc, arq, arq_Latn, ary и arz. В тесте Tatoeba для пары французский—арабский указаны BLEU 14,4 и chr-F 0,439. Эти оценки относятся к конкретному тестовому набору и не гарантируют качество для иных текстов. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-fr-ee — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с французского языка на эстонский и предназначена для автоматического перевода предложений и текстов в сценариях, где нужен перевод именно с французского на эстонский. Модель основана на архитектуре Transformer-align и реализована как MarianMTModel. Она содержит 56 млн параметров, использует нормализацию и SentencePiece для предобработки; нативная длина контекста — 512 токенов. В README приведены результаты теста JW300.fr.ee: BLEU 26,3 и chr-F 0,466. Модель поддерживает текстовый ввод и выдаёт текст перевода. Распространяется по лицензии Apache-2.0. Показатели качества относятся к указанному тестовому набору и не гарантируют аналогичных результатов на других жанрах и доменах.

Helsinki-NLP/opus-mt-fr-es — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с французского на испанский и подходит для перевода отдельных фраз и документов. Модель построена на архитектуре MarianMT с трансформером и выравниванием; использует нормализацию и токенизацию SentencePiece. Веса доступны в форматах PyTorch и TensorFlow. В README приведены оценки BLEU от 31,6 до 34,3 и chr-F от 0,583 до 0,601 на нескольких тестовых наборах новостных переводов. Модель содержит 63,5 млн параметров, а её контекст составляет 512 токенов. Она обучалась на данных OPUS. Лицензия Apache-2.0 разрешает коммерческое и некоммерческое использование с соблюдением её условий. Направление перевода ограничено французским на испанский; приведённые оценки относятся к новостным тестовым наборам и не гарантируют аналогичного качества в других областях.

Helsinki-NLP/opus-mt-fr-hr — модель машинного перевода с французского языка на хорватский, созданная в рамках проекта OPUS. Она основана на архитектуре Marian Transformer и обучена на данных OPUS; перед обработкой текста применяются нормализация и токенизация SentencePiece. В метаданных указаны 55,2 млн параметров и контекст до 512 токенов. Модель предназначена для перевода французских текстов на хорватский. В README приведён результат BLEU 20,7 и chr-F 0,442 на тестовом наборе JW300.fr.hr. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-fr-ro — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с французского на румынский и основана на архитектуре Transformer-align. Модель содержит 54,2 млн параметров, использует нормализацию и токенизацию SentencePiece; для обработки текста указан контекст до 512 токенов. Модель подходит для перевода французских текстов на румынский, включая автоматизированный перевод и локализацию. В README приведён результат BLEU 42,1 на тестовом наборе Tatoeba.fr.ro. Доступны веса в форматах PyTorch и TensorFlow. Лицензия Apache-2.0 разрешает свободное использование при соблюдении её условий.

Helsinki-NLP/opus-mt-fr-ru — модель машинного перевода на архитектуре MarianMT, разработанная в рамках проекта OPUS. Она переводит текст с французского на русский и обучена на данных OPUS; предобработка включает нормализацию и SentencePiece. Модель основана на Transformer и содержит 58,1 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для перевода французских текстов на русский, в том числе отдельных фраз и предложений. В карточке приведён результат BLEU 37,9 на наборе Tatoeba.fr.ru. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-gl-en — модель машинного перевода из семейства OPUS-MT, подготовленная Helsinki-NLP для перевода с галисийского языка на английский. Это плотная трансформерная модель MarianMT с 36,1 млн параметров; перед переводом текст нормализуется и токенизируется SentencePiece с моделью словаря 12k. Для модели указан контекст длиной 512 токенов. Модель подходит для перевода галисийских текстов на английский, включая отдельные фразы и предложения. В тесте Tatoeba-test.glg.eng указаны BLEU 44,4 и chr-F 0,628. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

opus-mt-ha-en — модель машинного перевода из семейства Marian, подготовленная проектом OPUS-MT для перевода с хауса на английский. Это Transformer-модель с выравниванием, обученная на данных OPUS; перед переводом текст нормализуется и разбивается на части с помощью SentencePiece. Модель принимает текст на хауса и выдаёт перевод на английском. В метаданных указаны 54,9 млн параметров и контекст длиной до 512 токенов. В README приведены результаты на тестовых наборах JW300 и Tatoeba: BLEU 35,0 и 39,0 соответственно. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-he-es — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с иврита на испанский; обработка включает нормализацию и SentencePiece с раздельными словарями по 32 тыс. элементов. В модели 57,5 млн параметров, контекст ограничен 512 токенами. Модель подходит для перевода фраз и документов с иврита на испанский. В README приведён результат BLEU 51,3 на тесте Tatoeba для этой языковой пары. Репозиторий содержит веса PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-id-en — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Она переводит текст с индонезийского языка на английский и обучена на данных OPUS. Архитектура — Marian Transformer; перед обработкой текст нормализуется и токенизируется с помощью SentencePiece. Модель содержит 53,2 млн параметров и рассчитана на контекст до 512 токенов. Модель подходит для перевода предложений и коротких текстов, в том числе для локализации материалов и первичного перевода пользовательского контента. В README приведены результаты на наборе Tatoeba.id.en: BLEU 47,7 и chr-F 0,647. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP выпустила Helsinki-NLP/opus-mt-itc-en — компактную модель машинного перевода семейства Marian на архитектуре Transformer. Она переводит с группы италийских языков на английский; среди языков источника README перечисляет итальянский, каталанский, испанский, португальский, французский, румынский, окситанский, романшский и другие, включая региональные языки и варианты. Модель содержит 54,4 млн параметров, использует нормализацию и SentencePiece с моделями токенизации spm32k для исходного и целевого текста, а длина контекста составляет 512 токенов. Модель предназначена для перевода текстов с языков-источников на английский, в том числе для локализации и обработки многоязычных материалов. В карточке приведены результаты на тестовых наборах, включая BLEU 36,5 для перевода с румынского и значения BLEU 30,9 и 35,5 для перевода с французского; качество может различаться в зависимости от языка, тематики и формулировок. Модель принимает и выдаёт текст. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ja-fi — модель машинного перевода с японского на финский, разработанная в рамках проекта OPUS и основанная на архитектуре Transformer-align с реализацией MarianMT. Она обучена на данных OPUS; предобработка включает нормализацию текста и SentencePiece. Модель содержит 57,2 млн параметров, принимает текст и выдаёт перевод на финском языке. Для тестового набора Tatoeba.ja.fi в карточке приведены оценки BLEU 21,2 и chr-F 0,448. Модель подходит для перевода японских фраз и документов на финский, в том числе для локальной интеграции в приложения на Transformers. Контекст составляет 512 токенов. Распространяется по лицензии Apache-2.0.