I.6Перевод и языковая адаптация

NOESIS-Hy-MT2-7.5B-BF16 — модель перевода AMAImedia для профессионального многоязычного дубляжа. Это BF16-чекпойнт, объединяющий базовую HunYuan Dense V1 модель Tencent Hy-MT2-7.5B и дообучение SFT-LoRA на внутреннем корпусе дубляжа NOESIS. Архитектура — плотная причинно-языковая модель с 7,5 млрд параметров; метаданные указывают контекст до 262 144 токенов. Модель предназначена для перевода реплик между исходным и целевым языками в конвейере дубляжа. Обучение учитывает ограничения длительности реплик и синхронизацию речи, поэтому перевод может быть короче буквального. Карточка заявляет поддержку 33 основных и пяти этнических языков, включая кантонский; среди перечисленных кодов метаданных есть китайский, английский, русский, французский, испанский, японский, арабский и другие. В небольшом внутреннем A/B-тесте авторы сообщают об улучшении всех трёх метрик относительно указанного базового варианта; отдельный тест FLORES-200 показывает, что модель уступает одному из сравниваемых переводчиков и что буквальные метрики могут недооценивать её пригодность для дубляжа. Для работы указан формат Safetensors BF16, размер весов около 14 ГБ и использование Transformers с `trust_remote_code=True`. Лицензия — Tencent HY Community License Agreement: README указывает территориальное исключение ЕС, ограничение в 100 млн MAU и запрет использовать выходы для обучения других ИИ-моделей; перед применением следует сверить условия с полным текстом лицензии.

Helsinki-NLP/opus-mt-af-ru — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с африкаанс на русский и обратно не предназначена: направление перевода — только африкаанс → русский. Модель построена на архитектуре Transformer-align и реализована как MarianMTModel. Она содержит 57,3 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов; родной контекст — 512 токенов. Для набора Tatoeba-test.afr.rus указаны BLEU 38,2 и chr-F 0,580. Подходит для перевода отдельных фраз и текстов с африкаанс на русский. Ограничения включают одностороннее направление перевода, ограничение контекста и возможные ошибки качества; приведённые показатели относятся только к указанному тестовому набору. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ar-pl — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMTModel. Она переводит арабский текст на польский; в карточке перечислены арабский и египетский арабский как источники, а также нормализация и токенизация SentencePiece с словарём spm32k. Модель содержит 58,4 млн параметров, поддерживает контекст до 512 токенов и распространяется в форматах PyTorch и TensorFlow. Модель подходит для перевода коротких сообщений, пользовательских текстов и материалов с арабского на польский. В README приведён результат BLEU 38,0 на Tatoeba-test.ara.pol. Лицензия Apache-2.0 разрешает использование в соответствии с её условиями. Оценка на указанном тестовом наборе не гарантирует такое же качество для других жанров и предметных областей.

Helsinki-NLP/opus-mt-ar-tr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с арабского на турецкий; исходная сторона охватывает арабский и перечисленные в карточке его варианты и записи латиницей. Модель содержит 57,6 млн параметров, использует нормализацию и SentencePiece с словарями размером 32 тыс. токенов; заявленная длина контекста — 512 токенов. Модель подходит для перевода отдельных фраз и текстов с арабского на турецкий. В карточке приведён результат BLEU 33,1 на Tatoeba-test.ara.tur. Доступны веса в форматах PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0. Она предназначена для указанной языковой пары; качество на иных языках и специализированных текстах не подтверждено.

Helsinki-NLP/opus-mt-az-es — модель машинного перевода из семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с азербайджанского языка на испанский и предназначена для прямого перевода между этой языковой парой. Модель основана на архитектуре Transformer-align и содержит 29,1 млн параметров. Для токенизации используется SentencePiece с нормализацией текста; контекст ограничен 512 токенами. В тесте Tatoeba для направления азербайджанский—испанский указаны BLEU 11,8 и chr-F 0,346. Весы доступны в форматах PyTorch и TensorFlow; лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-bcl-fr — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит тексты с языка биколь (bcl) на французский (fr); обучение выполнено на данных OPUS с архитектурой Transformer-align. В обработке применяются нормализация текста и SentencePiece. Модель содержит 56,1 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для автоматического перевода фраз и документов с бикольского на французский. В README приведена оценка BLEU 35,0 и chr-F 0,527 на тестовом наборе JW300.bcl.fr. Репозиторий распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-bem-fi — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с бемба (bem) на финский (fi) и предназначена для перевода отдельных фраз и документов между этими языками. Модель основана на архитектуре Transformer-align и использует нормализацию текста и токенизацию SentencePiece. Модель содержит 56,8 млн параметров, её нативный контекст составляет 512 токенов; доступны веса PyTorch и TensorFlow. В тесте JW300.bem.fi указаны BLEU 22,8 и chr-F 0,439. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP разработала opus-mt-ber-fr — модель машинного перевода с берберского языка на французский. Она предназначена для перевода текстов с берберского на французский и построена на архитектуре MarianMT, основанной на Transformer. Веса доступны в форматах PyTorch и TensorFlow; модель содержит 35,9 млн параметров и рассчитана на контекст до 512 токенов. При предобработке используются нормализация текста и SentencePiece. В карточке приведены результаты на тестовом наборе Tatoeba.ber.fr: BLEU 60,2 и chr-F 0,754. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP разработала OPUS-MT-bg-es — модель машинного перевода с болгарского на испанский. Это трансформер MarianMT с 56,8 млн параметров, принимающий текст на болгарском и выдающий перевод на испанском; для обработки используются нормализация и SentencePiece с раздельными словарями по 32 тысячи единиц. В метаданных указан контекст длиной 512 токенов. Модель предназначена для перевода отдельных фраз и текстов с болгарского на испанский. В README приведён результат BLEU 49,1 на наборе Tatoeba-test.bul.spa. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0. Результаты могут различаться в зависимости от тематики и стиля текста; модель ориентирована на одну языковую пару.

Helsinki-NLP/opus-mt-ccs-en — модель машинного перевода семейства OPUS-MT, опубликованная Helsinki-NLP на основе проекта Tatoeba Challenge. Она переводит с грузинского языка на английский; источник также обозначен группой южнокавказских языков, но в README указан конкретный исходный язык — грузинский. Модель построена на архитектуре Transformer в реализации Marian, содержит 37 млн параметров и рассчитана на контекст до 512 токенов. Для токенизации и подготовки текста используются нормализация и SentencePiece с моделями словаря по 12 тысяч единиц. В карточке приведены результаты тестирования на наборе Tatoeba: BLEU 18,0 и chr-F 0,357. Модель подходит для перевода коротких текстов с грузинского на английский; эти показатели следует учитывать при оценке качества на конкретных данных. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-de-ilo — модель машинного перевода из семейства OPUS-MT, разработанная проектом Helsinki-NLP. Она переводит текст с немецкого языка на илокано. Модель построена на архитектуре Transformer-align и использует нормализацию текста и SentencePiece для предобработки; в метаданных указаны архитектура MarianMTModel, 56 млн параметров и контекст до 512 токенов. Модель предназначена для перевода немецких текстов на илокано. В README приведён результат BLEU 29,8 и chr-F 0,533 на тестовом наборе JW300.de.ilo. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-de-lua — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на луганда (луганда обозначен в идентификаторе как lua) и предназначена для автоматического перевода предложений и текстовых материалов. Модель построена на архитектуре Transformer-align; для нормализации текста использует SentencePiece. В метаданных указаны 56,4 млн параметров, контекст до 512 токенов и поддержка PyTorch и TensorFlow. В карточке приведён результат BLEU 23,1 и chr-F 0,467 на тестовом наборе JW300.de.lua. Модель распространяется по лицензии Apache-2.0. Результаты могут различаться на текстах иной тематики и стиля; карточка не приводит сведений о качестве на других тестовых наборах.

Helsinki-NLP/opus-mt-en-bnt — модель машинного перевода из проекта OPUS-MT, опубликованная Helsinki-NLP. Это трансформер MarianMT с 56,8 млн параметров, который переводит текст с английского на несколько языков банту: киньяруанда, лингала, луганда, ньянджа, кирунди, шона, суахили, тони, тсонга, умбунду и зулу. Для выбора языка назначения в начале предложения требуется токен вида `>>id<<`; текст обрабатывается с нормализацией и SentencePiece. Модель предназначена для перевода отдельных фраз и текстов с английского на поддерживаемые языки банту. В README приведены результаты на тестовых наборах Tatoeba для ряда языковых пар; оценки различаются между языками, поэтому качество следует проверять на целевых данных. Длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow; лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-ine — модель машинного перевода проекта OPUS-MT, опубликованная Helsinki-NLP. Это трансформер MarianMT с 56,5 млн параметров, обученный переводить с английского на набор индоевропейских языков; для выбора целевого языка перед текстом требуется токен вида >>id<<. Модель использует нормализацию и SentencePiece с словарями размером 32 тыс. токенов, а длина контекста составляет 512 токенов. Поддерживаются десятки целевых языков, в том числе французский, немецкий, испанский, русский, хинди, польский и украинский. В README приведены тестовые результаты на отдельных языковых парах: например, BLEU 22,1 для английского—румынского и 6,2 для английского—хинди; качество заметно зависит от языка. Модель подходит для перевода текстов с английского на поддерживаемые языки, но карточка не подтверждает перевод в обратном направлении. Лицензия — Apache-2.0.

Xenova/opus-mt-en-ROMANCE — модель машинного перевода, основанная на Helsinki-NLP/opus-mt-en-ROMANCE. Она предназначена для перевода с английского языка на языки романской группы; конкретный перечень поддерживаемых языков в предоставленных данных не указан. Модель поставляется с весами в формате ONNX и адаптирована для работы через библиотеку Transformers.js, что делает её пригодной для веб-приложений и выполнения перевода в совместимых JavaScript-средах. Архитектура, количество параметров, максимальная длина контекста и точные языковые направления не указаны. К сильным сторонам относятся готовность к веб-использованию и совместимость с ONNX-инфраструктурой. Ограничения связаны с отсутствием в карточке сведений о размере модели, качестве на отдельных языках, требованиях к ресурсам и лицензии. Условия лицензирования в предоставленных данных не указаны.

Helsinki-NLP/opus-mt-eo-fr — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с эсперанто на французский и основана на архитектуре Marian Transformer; в метаданных указано 55,7 млн параметров и контекст до 512 токенов. Для предобработки используются нормализация и SentencePiece. Модель обучена на данных OPUS; для набора Tatoeba.eo.fr в карточке приведены результаты BLEU 50,9 и chr-F 0,675. Модель подходит для перевода предложений и текстовых фрагментов с эсперанто на французский. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

Helsinki-NLP/opus-mt-es-he — модель машинного перевода, разработанная Helsinki-NLP в рамках проекта OPUS-MT и основанная на архитектуре Transformer, реализованной как MarianMT. Она переводит текст с испанского языка на иврит. Модель содержит 57,5 млн параметров, использует нормализацию и SentencePiece с словарями spm32k; размер контекста — 512 токенов. Модель предназначена для перевода отдельных текстов и фраз, включая сценарии перевода материалов Tatoeba. Для пары испанский—иврит в README приведён результат BLEU 43,6 на Tatoeba-test.spa.heb. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-fr-ms — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer-align и реализованная как MarianMTModel. Она переводит текст с французского языка на малайский; README также указывает целевые языковые коды индонезийского и малайского вариантов. Для выбора целевого языка перед предложением требуется токен вида >>id<<. Модель насчитывает 54,6 млн параметров, использует SentencePiece с словарями размером 32 тыс. токенов и имеет контекст длиной до 512 токенов. Модель подходит для перевода отдельных фраз и текстов с французского на малайский. В тесте Tatoeba для пары fra–msa указаны BLEU 35,3 и chr-F 0,617. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Модель Helsinki-NLP OPUS-MT gmq-gmq предназначена для перевода между северогерманскими языками. Она разработана в рамках проекта OPUS-MT на архитектуре Transformer и реализована как MarianMTModel; содержит около 42,5 млн параметров и принимает текстовые последовательности длиной до 512 токенов. Модель поддерживает датский, фарерский, исландский, норвежский букмол, норвежский нюношк и шведский. Перед переводом применяются нормализация и SentencePiece с моделью токенизатора на 32 тыс. элементов; для выбора языка перевода перед текстом требуется указать токен вида >>id<<. Модель подходит для перевода предложений между поддерживаемыми языками, но качество различается по языковым парам: в приведённых тестах BLEU варьируется от 8,1 для датско-фарерского до 62,8 для датско-норвежского. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-grk-en — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Она переводит текст с греческих языков на английский: поддерживаются современный греческий и древнегреческий. Модель построена на архитектуре Transformer и использует нормализацию текста и SentencePiece с словарями по 12 тысяч токенов; размер — 36,6 млн параметров, длина контекста — до 512 токенов. Модель предназначена для перевода отдельных фраз и текстов. В README приведены тестовые результаты BLEU 65,9 для современного греческого и 4,1 для древнегреческого на наборах Tatoeba, что указывает на заметно различающееся качество для этих вариантов языка. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-ig-en — модель машинного перевода из семейства MarianMT, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с игбо на английский и основана на архитектуре Transformer-align; для токенизации применяется SentencePiece с нормализацией текста. В метаданных указаны 53,9 млн параметров, контекст до 512 токенов и поддержка PyTorch и TensorFlow. Модель предназначена для перевода предложений и текстовых фрагментов с игбо на английский. В README приведены результаты на тестовых наборах JW300 и Tatoeba: BLEU 36,7 и 46,3 соответственно. Модель распространяется по лицензии Apache-2.0. Она ориентирована на одно направление перевода и ограничена контекстом в 512 токенов; качество может зависеть от тематики и формулировок исходного текста.

Helsinki-NLP/opus-mt-ja-he — модель машинного перевода японского текста на иврит, выпущенная в рамках проекта OPUS-MT. Это плотная encoder-decoder модель семейства Marian на архитектуре Transformer-align с 58,4 млн параметров; она использует нормализацию и SentencePiece с отдельными словарями по 32 тыс. токенов для исходного и целевого текста. Модель принимает японский текст и генерирует перевод на иврите; заявленная длина контекста — 512 токенов. Модель подходит для перевода отдельных фраз и текстов с японского на иврит. В карточке приведён результат BLEU 20,2 и chr-F 0,397 на тестовом наборе Tatoeba-test.jpn.heb. Репозиторий предоставляет веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-mt-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит тексты с мальтийского языка на английский и предназначена для автоматического перевода предложений и документов. Модель построена на архитектуре Transformer-align; перед подачей текста применяются нормализация и токенизация SentencePiece. В репозитории доступны веса PyTorch, TensorFlow и Flax; модель содержит 53,9 млн параметров и рассчитана на контекст до 512 токенов. В карточке приведены результаты на тестовых наборах JW300.mt.en и Tatoeba.mt.en: BLEU 49,0 и 53,3 соответственно. Модель распространяется по лицензии Apache 2.0. Она предназначена для перевода с мальтийского на английский; качество на других языковых парах и вне указанных тестовых наборов не заявлено.

Helsinki-NLP/opus-mt-ny-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с языка чичева (ny) на английский (en) и основана на архитектуре Transformer-align в реализации MarianMT. Модель содержит 55,8 млн параметров; для предобработки используются нормализация текста и SentencePiece, максимальная длина контекста — 512 токенов. Модель подходит для перевода текстов на чичева на английский, в том числе материалов из коллекций OPUS, JW300 и Tatoeba. В README приведены оценки BLEU 39,7 для JW300 и 44,2 для Tatoeba. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-phi-en — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMT. Она переводит тексты с нескольких филиппинских языков на английский: акланонского, себуано, хилигайнонского, илоканского, пангасинанского и варайского. Модель содержит 36,3 млн параметров, использует нормализацию и SentencePiece с моделями словаря spm12k и рассчитана на контекст до 512 токенов. Модель подходит для перевода коротких текстов, например фраз и предложений, с поддерживаемых филиппинских языков на английский. В карточке приведены тестовые результаты на наборах Tatoeba для акланонского, себуано и хилигайнонского языков. Репозиторий содержит веса PyTorch и TensorFlow; лицензия — Apache-2.0. Результаты на остальных языках могут отличаться, а контекст ограничен 512 токенами.

Helsinki-NLP/opus-mt-pt-uk — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Она переводит текст с португальского языка на украинский и предназначена для прямого перевода между этой языковой парой. Модель основана на архитектуре Transformer-align и представлена в Transformers как MarianMTModel; содержит около 57 млн параметров. Перед обработкой текст нормализуется и разбивается SentencePiece с отдельными словарями по 32 тыс. элементов для исходного и целевого языков. В README приведён результат BLEU 39,8 на Tatoeba-test.por.ukr. Метаданные указывают контекст 512 токенов и форматы PyTorch и TensorFlow. Модель принимает текст на португальском и выдаёт текст на украинском. Она подходит для перевода предложений и коротких текстов; качество на других типах данных и доменах в карточке не охарактеризовано. Лицензия — Apache-2.0.

Helsinki-NLP выпускает OPUS-MT rus-vie — модель машинного перевода с русского на вьетнамский. Это компактная модель архитектуры Marian на базе Transformer, насчитывающая 57,4 млн параметров; для обработки текста применяются нормализация и SentencePiece с словарями по 32 тыс. токенов. Длина контекста — 512 токенов. Модель предназначена для перевода отдельных текстов с русского языка на вьетнамский. В тесте Tatoeba-test.rus.vie указаны BLEU 16,9 и chr-F 0,346. Модель поддерживает только направление ru→vi, поэтому качество на других языках и в обратном направлении не подтверждено. Опубликована под лицензией Apache-2.0.

Helsinki-NLP/opus-mt-sq-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с албанского языка на английский и основана на архитектуре Transformer-align с предварительной нормализацией и токенизацией SentencePiece. Модель содержит 55,5 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для перевода отдельных фраз и текстов с албанского на английский; в README приведён результат BLEU 58,4 на тестовом наборе Tatoeba.sq.en. Распространяется по лицензии Apache-2.0. Оценка на одном тестовом наборе не гарантирует такого же качества на текстах других жанров и предметных областей.

Это нейронная модель машинного перевода OPUS-MT, разработанная Language Technology Research Group Хельсинкского университета. Она переводит тексты с немецкого, английского, французского, португальского и испанского языков на языки индо-иранской группы, включая хинди, урду, бенгальский, персидский, непальский, пенджаби, сингальский и другие. Целевой язык задаётся специальной меткой перед текстом. Модель построена на архитектуре MarianMT типа transformer-big, содержит 164,2 млн параметров и рассчитана на контекст до 1024 токенов. Её можно применять для перевода отдельных фраз и текстов, в том числе на языки с ограниченным количеством доступных переводческих систем. Веса доступны в форматах PyTorch и Safetensors, библиотека запуска — Transformers. Модель обучена на данных OPUS; качество перевода может различаться между языковыми парами и предметными областями, а контекст ограничен 1024 токенами. Лицензия Apache-2.0.

Модель OPUS-MT для машинного перевода с индоиранских языков на немецкий, английский, французский, португальский и испанский. Её разработала группа Language Technology Research Group Хельсинкского университета в рамках проекта OPUS-MT; модель типа transformer-big построена на архитектуре Marian и доступна в формате PyTorch с весами Safetensors. Она содержит 164 млн параметров, рассчитана на контекст до 1024 токенов и распространяется по лицензии Apache-2.0. Модель предназначена для перевода текстов с таких языков, как бенгальский, хинди, персидский, урду, непальский и пенджаби, на один из пяти целевых языков. Целевой язык выбирается специальной меткой перед исходным текстом. Она подходит для перевода отдельных фраз и документов в сценариях с многоязычным содержимым. Качество перевода может быть ограничено для малоресурсных языков и текстов, отличающихся от данных обучения OPUS. В карточке также перечислены целевые метки, которые выглядят как шаблонные или некорректные примеры; их следует проверять перед практическим использованием.