I.6Перевод и языковая адаптация

Xenova/opus-mt-en-ru — модель машинного перевода с ONNX-весами, предназначенная для использования в Transformers.js. Она основана на Helsinki-NLP/opus-mt-en-ru, разработанной проектом Helsinki-NLP, и переводит текст с английского языка на русский. Модель ориентирована на веб-приложения и другие сценарии, где требуется запуск перевода через Transformers.js; ONNX-формат обеспечивает совместимость с этим JavaScript-инструментом. В доступных данных не указаны точная архитектура, размер модели, максимальная длина контекста и дополнительные модальности. Лицензия в README также не указана, поэтому условия использования следует уточнять в карточке базовой модели Helsinki-NLP/opus-mt-en-ru.

Helsinki-NLP/opus-mt-en-sem — модель машинного перевода из проекта OPUS-MT на архитектуре Transformer, реализованная через Marian. Она переводит текст с английского на несколько семитских языков и разновидностей: арабский (включая диалектные варианты), иврит, амхарский и тигринья; также заявлены мальтийский и другие арабские разновидности. Для выбора языка назначения в начале предложения требуется токен вида >>id<< с допустимым кодом языка. Модель содержит 56,5 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов и имеет контекст длиной до 512 токенов. В репозитории доступны веса PyTorch и TensorFlow. Метаданные указывают лицензию Apache-2.0. Качество зависит от языка и тематики: приведённые оценки BLEU составляют 11,2 для амхарского, 12,7 для арабского и 33,8 для иврита; поэтому переводы для отдельных языков могут требовать проверки.

Helsinki-NLP/opus-mt-en-sm — модель машинного перевода семейства MarianMT, разработанная проектом OPUS. Она переводит текст с английского языка на самоанский. Модель построена на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece; число параметров — 53,3 млн, контекст — до 512 токенов. Доступны веса в форматах PyTorch и TensorFlow. Модель предназначена для перевода предложений и текстов с английского на самоанский. В README приведена оценка BLEU 40,1 и chr-F 0,585 на тестовом наборе JW300.en.sm. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-to — модель машинного перевода на архитектуре Transformer, разработанная проектом OPUS-MT и распространяемая Helsinki-NLP. Она переводит текст с английского языка на тонганский. Модель обучена на данных OPUS; перед обработкой применяются нормализация и токенизация SentencePiece. Модель реализована как MarianMTModel, содержит 54,6 млн параметров и имеет контекстное окно 512 токенов. Для набора JW300.en.to в карточке приведены оценки BLEU 56,3 и chr-F 0,689. Доступны веса PyTorch и TensorFlow; лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-bg — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMTModel. Она переводит текст с испанского языка на болгарский; обучение основано на проекте Tatoeba-Challenge. Модель содержит 56,8 млн параметров, использует нормализацию и токенизацию SentencePiece с словарями размером 32 тыс. токенов; длина контекста — 512 токенов. Модель подходит для перевода отдельных фраз и текстов с испанского на болгарский. В README приведены результаты на тестовом наборе Tatoeba-test.spa.bul: BLEU 50,9 и chr-F 0,674. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-yua — модель машинного перевода семейства MarianMT, опубликованная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с испанского языка на юкатекский майя (yua). Модель основана на Transformer с выравниванием, содержит 48,7 млн параметров и рассчитана на контекст до 512 токенов. Для предобработки применяются нормализация текста и SentencePiece. Модель подходит для перевода отдельных фраз и текстов с испанского на юкатекский; на наборе JW300.es.yua указаны оценки BLEU 23,6 и chr-F 0,471. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-eu-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с баскского языка на английский. Модель построена на архитектуре Marian Transformer, использует нормализацию текста и токенизацию SentencePiece; содержит около 55,1 млн параметров, а её нативный контекст составляет 512 токенов. Модель подходит для перевода отдельных фраз и текстов с баскского на английский. В README приведён результат BLEU 46,1 на наборе Tatoeba.eu.en; качество на других доменах и типах текста может отличаться. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-fi-it — модель машинного перевода с финского языка на итальянский. Она построена на архитектуре MarianMT, использует Transformer и предобработку с нормализацией и SentencePiece. Модель обучена на данных OPUS и содержит около 55,8 млн параметров; максимальная длина контекста составляет 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с финского на итальянский. В README приведён результат BLEU 42,7 на тестовом наборе Tatoeba.fi.it. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-fr-ber — модель машинного перевода семейства Marian, обученная проектом OPUS на корпусе OPUS для перевода с французского языка на берберский. Она использует архитектуру Transformer-align и предобработку с нормализацией и SentencePiece. По метаданным модель содержит 35,9 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для перевода текстов с французского на берберский. В README приведена оценка BLEU 37,2 и chr-F 0,641 на тесте Tatoeba.fr.ber. Модель распространяется по лицензии Apache-2.0.

Xenova/opus-mt-fr-en — модель машинного перевода с ONNX-весами, разработанная для совместимости с библиотекой Transformers.js. Она основана на Helsinki-NLP/opus-mt-fr-en, однако в предоставленных данных не указано, кто именно разработал исходную архитектуру и модель. Основное назначение — перевод текста с французского языка на английский, включая использование в веб-приложениях и средах, поддерживающих Transformers.js. Ключевая особенность модели — формат ONNX, позволяющий применять её в JavaScript- и web-сценариях; README также указывает на возможность использования через pipeline для перевода. Размер, точная архитектура, максимальная длина контекста, дополнительные модальности и технические характеристики не указаны. Сведения о сильных сторонах, ограничениях и лицензии в предоставленных данных отсутствуют. Возможность использования определяется лицензией исходной модели Helsinki-NLP/opus-mt-fr-en и условиями данного репозитория, которые здесь не приведены.

gaudi/opus-mt-fr-en-ctranslate2 — конвертированная для CTranslate2 версия модели перевода Opus-MT с французского на английский, основанной на работе Helsinki-NLP. Она предназначена для машинного перевода текстов и ускоренного инференса на CPU и GPU через CTranslate2 и библиотеку hf-hub-ctranslate2. Модель использует архитектуру Marian encoder-decoder. CTranslate2 поддерживает оптимизации инференса, включая квантование весов и объединение слоёв; в карточке для CPU указан тип вычислений int8, для CUDA — int8_float16. Приведённые в README внутренние замеры сообщают об ускорении инференса в 6–10 раз относительно исходных чекпойнтов через Transformers, но также отмечают возможное снижение качества перевода примерно на 5%; эти результаты зависят от конфигурации. Репозиторий распространяется по лицензии Apache-2.0. Это конверсия существующей модели, а не самостоятельное дообучение.

Helsinki-NLP/opus-mt-fr-rw — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с французского языка на киньяруанда (rw). Модель основана на архитектуре Transformer-align, использует нормализацию текста и токенизацию SentencePiece; содержит 56,4 млн параметров, а длина контекста составляет 512 токенов. Модель предназначена для автоматического перевода фраз и текстов с французского на киньяруанда. В карточке приведён результат на тестовом наборе JW300.fr.rw: BLEU 25,5 и chr-F 0,483. Весовые файлы доступны в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-fr-sv — модель машинного перевода на базе архитектуры Marian, предназначенная для перевода с французского языка на шведский. Она разработана в рамках проекта OPUS и обучена на данных OPUS; обработка текста включает нормализацию и SentencePiece. Модель содержит 54,9 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель подходит для перевода предложений и текстовых фрагментов с французского на шведский. В README приведены результаты на тестовом наборе Tatoeba.fr.sv: BLEU 60,1 и chr-F 0,744. Распространяется по лицензии Apache 2.0. Карточка не описывает специализированные области применения или ограничения качества за пределами указанного тестирования.

Helsinki-NLP/opus-mt-gl-es — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMTModel. Она переводит с галисийского языка на испанский; поддерживает только это направление перевода. Модель содержит 28,1 млн параметров, использует нормализацию и SentencePiece с моделью токенизации на 4 тыс. элементов. Нативная длина контекста — 512 токенов. В README приведён результат BLEU 72,2 и chr-F 0,836 на тесте Tatoeba для пары галисийский—испанский. Модель подходит для перевода текстов с галисийского на испанский. Веса доступны в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-gmw-gmw — модель машинного перевода из проекта OPUS, опубликованная под лицензией Apache-2.0. Она переводит между языками западногерманской группы, поддерживая, среди прочих, африкаанс, немецкий, английский, фризские языки, нидерландский, люксембургский и идиш; для выбора целевого языка требуется начальный токен вида >>id<<. Модель построена на архитектуре Transformer и реализована как MarianMTModel; число параметров — 43,3 млн, длина контекста — 512 токенов. Модель предназначена для перевода предложений и текстов между перечисленными языками и их вариантами. В README описана нормализация текста и токенизация SentencePiece с словарём на 32 тыс. единиц. Приведены тестовые результаты OPUS, однако качество может различаться в зависимости от языковой пары и тематики текста.

Helsinki-NLP разработала opus-mt-guw-en — модель машинного перевода с языка guw на английский. Она предназначена для перевода текстов с guw на en, в том числе материалов, похожих на корпус JW300. Модель построена на архитектуре Marian, использует Transformer и предварительную обработку с нормализацией и SentencePiece. Размер — 51,9 млн параметров, длина контекста — 512 токенов. В метаданных указаны реализации для PyTorch и TensorFlow; лицензия — Apache-2.0. В тесте JW300.guw.en указаны BLEU 44,8 и chr-F 0,601.

Helsinki-NLP/opus-mt-hr-es — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с хорватского языка на испанский и предназначена для перевода отдельных фраз и текстов. Модель построена на архитектуре Transformer, использует нормализацию и токенизацию SentencePiece; размер составляет 55,2 млн параметров, контекст — до 512 токенов. В README приведён результат BLEU 27,9 и chr-F 0,498 на тестовом наборе JW300.hr.es. Модель распространяется под лицензией Apache-2.0. Показатели качества относятся к указанному тесту и не гарантируют такой же результат на текстах других жанров или предметных областей.

Helsinki-NLP/opus-mt-hu-en — модель машинного перевода с венгерского на английский из проекта OPUS-MT, опубликованная Helsinki-NLP. Это трансформер MarianMT с архитектурой transformer-align, обученный на данных OPUS; в репозитории представлены веса PyTorch и TensorFlow. Для предобработки используются нормализация текста и SentencePiece. Размер модели — 57,2 млн параметров, заявленная длина контекста — 512 токенов. Модель предназначена для перевода венгерских текстов на английский. В README приведены результаты на наборе Tatoeba.hu.en: BLEU 52,9 и chr-F 0,683. Эти показатели относятся к указанному тестовому набору и не гарантируют такое же качество для других типов текстов. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-ja-ar — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Marian Transformer. Она переводит текст с японского на арабский и поддерживает целевые варианты арабского языка, включая acm, apc, arq и arz. Для выбора целевого варианта в начале предложения требуется токен вида `>>id<<` с допустимым идентификатором языка. Модель содержит 58,4 млн параметров, использует SentencePiece с нормализацией и имеет контекстное окно 512 токенов. В README для набора Tatoeba-test.jpn.ara приведены оценки BLEU 11,6 и chr-F 0,394. Репозиторий предоставляет веса PyTorch и TensorFlow; лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ja-ms — модель машинного перевода из семейства MarianMT, опубликованная Helsinki-NLP на основе проекта OPUS-MT. Она переводит текст с японского на малайский. Модель содержит 58,3 млн параметров, использует архитектуру Transformer и SentencePiece с подсловным словарём на 32 тыс. токенов; для малайского языка в README указаны варианты Malay, включая индонезийский и малайский латинской графикой. Нативная длина контекста — 512 токенов. Модель подходит для перевода предложений и коротких текстов, например, при локализации материалов или подготовке чернового перевода. В README приведена оценка BLEU 21,5 на тестовом наборе Tatoeba; это ориентир для указанного теста, а не гарантия качества на других текстах. Требуется начальный токен целевого языка вида `>>id<<`. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ja-nl — модель машинного перевода проекта OPUS, опубликованная Helsinki-NLP. Она переводит текст с японского языка на нидерландский; модель не заявлена как многоязычная. Это плотная модель архитектуры MarianMT на базе Transformer с выравниванием, содержащая 58,4 млн параметров. Для предобработки используются нормализация и SentencePiece с словарями размером 32 тыс. токенов; длина контекста составляет 512 токенов. В тесте Tatoeba-test.jpn.nld указаны BLEU 34,7 и chr-F 0,534. Модель предназначена для автоматического перевода японских фраз и текстов на нидерландский, например для перевода пользовательских сообщений, справочных материалов и локализации. Поддерживаются варианты японского письма, включая кандзи, хирагану, катакану и латиницу. Лицензия — Apache-2.0. Карточка приводит оценку на одном тестовом наборе; качество для других жанров и длинных текстов этими результатами не характеризуется.

Helsinki-NLP/opus-mt-ja-tr — модель машинного перевода, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с японского на турецкий; архитектура — Transformer-align на базе MarianMT, размер — 58,4 млн параметров. Модель обрабатывает текст с нормализацией и токенизацией SentencePiece и имеет контекст до 512 токенов. Модель подходит для перевода японских фраз и документов на турецкий язык. В карточке приведён результат BLEU 16,7 и chr-F 0,434 на наборе Tatoeba-test.jpn.tur; эти показатели относятся к указанному тесту и не гарантируют такое же качество на других текстах. Модель опубликована в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0. Она предназначена для перевода только в направлении с японского на турецкий; сведения о поддержке обратного перевода не приводятся.

Helsinki-NLP/opus-mt-kab-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с кабильского языка на английский и основана на архитектуре MarianMT с Transformer; в репозитории доступны веса PyTorch и TensorFlow. Модель содержит 37,1 млн параметров, использует нормализацию и токенизацию SentencePiece, а максимальная длина контекста составляет 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с кабильского на английский. В README приведён результат BLEU 27,5 на наборе Tatoeba.kab.en. Модель выпущена под лицензией Apache-2.0. Она ориентирована на одну языковую пару и направление перевода; приведённая оценка относится к указанному тестовому набору.

Helsinki-NLP/opus-mt-ka-en — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с грузинского языка на английский и предназначена для перевода предложений и коротких текстов. Модель построена на архитектуре Transformer с выравниванием, использует нормализацию и токенизацию SentencePiece; размер составляет 37 млн параметров, контекст — до 512 токенов. В README приведён результат BLEU 37,9 на тестовом наборе Tatoeba-test.kat.eng. Модель поддерживает только направление перевода ka→en; качество может различаться на специализированных текстах и за пределами тестовых данных. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-kg-fr — модель машинного перевода семейства MarianMT, разработанная в рамках проекта OPUS. Она переводит текст с языка kg на французский. Модель основана на Transformer с выравниванием, использует нормализацию и токенизацию SentencePiece; размер — 50,2 млн параметров, контекст — до 512 токенов. Модель обучена на данных OPUS. В карточке приведён результат на тестовом наборе JW300.kg.fr: BLEU 26,0 и chr-F 0,433. Подходит для перевода текстов с kg на французский; качество может зависеть от тематики и формулировок исходного текста. Доступна под лицензией Apache-2.0.

Helsinki-NLP/opus-mt-ml-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с языка ml на английский; модель построена на архитектуре Marian с Transformer и использует нормализацию и SentencePiece для предобработки. В метаданных указаны 57,5 млн параметров, контекст до 512 токенов и форматы PyTorch и TensorFlow. Модель предназначена для перевода текстов с языка ml на английский. В README приведён результат BLEU 42,7 на тесте Tatoeba.ml.en. Модель распространяется по лицензии Apache-2.0. Язык ml в карточке обозначен кодом, который не позволяет надёжно определить его название, поэтому описание сохраняет исходное обозначение.

Helsinki-NLP/opus-mt-ms-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на основе архитектуры Marian (MarianMTModel, Transformer). Она переводит текст с малайского языка на французский. Исходный корпус обозначен как Malay (macrolanguage) и включает коды ind и zsm_Latn; метаданные карточки указывают языки ms и fr. Модель содержит 54,6 млн параметров, использует нормализацию и SentencePiece с словарями spm32k и имеет контекст до 512 токенов. Модель предназначена для перевода отдельных фраз и текстов с малайского на французский. В README приведена оценка BLEU 43,7 и chr-F 0,609 на наборе Tatoeba-test.msa.fra. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ru-hy — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer-align и реализованная как MarianMT. Она переводит текст с русского языка на армянский; модель также предусматривает целевой вариант армянского письма hye_Latn. Для подготовки текста используются нормализация и SentencePiece с подсловным словарём на 4 тыс. элементов. Модель содержит 29,1 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Для выбора целевого языка перед предложением требуется токен вида `>>id<<` с допустимым идентификатором языка. В карточке приведены результаты тестирования на Tatoeba: BLEU 21,7 и chr-F 0,494. Модель предназначена для перевода отдельных текстов и предложений, а не для универсального диалога. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-SCANDINAVIA-SCANDINAVIA — модель машинного перевода Helsinki-NLP на архитектуре Marian Transformer. Она переводит между датским, фарерским, исландским, норвежским (включая коды no, nb и nn) и шведским языками; для указания целевого языка перед предложением требуется специальный токен вида >>id<<. Модель обучена на данных OPUS, использует нормализацию и SentencePiece и содержит 49,3 млн параметров; максимальная длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow. В тесте Tatoeba.da.sv указаны BLEU 69,2 и chr-F 0,811. Модель предназначена для перевода предложений между перечисленными скандинавскими языками; качество на других языковых парах и длинных текстах этими данными не подтверждено. Лицензия — Apache 2.0.

Helsinki-NLP разработала OPUS-MT sem-en — модель машинного перевода с семитских языков на английский. Это Transformer-модель семейства MarianMT с 56,5 млн параметров; она использует нормализацию и SentencePiece с словарями по 32 тыс. токенов. Для обработки текста модель принимает последовательности длиной до 512 токенов. Модель обучена для перевода арабских разновидностей acm, afb, apc, arq, ary и arz, современного стандартного арабского (ara), амхарского (amh), иврита (heb), мальтийского (mlt) и тигринья (tir) на английский. В README приведены результаты на тестах Tatoeba для амхарского, арабского и иврита. Модель поддерживает перевод текста, но качество может различаться между языками и разновидностями; опубликованные тестовые оценки не гарантируют качество для любого текста. Лицензия — Apache 2.0.