I.6Перевод и языковая адаптация

Helsinki-NLP/opus-mt-csg-es — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре MarianMT/Transformer. Она переводит текст с языка csg на испанский; модель обучена на данных OPUS с нормализацией текста и разбиением SentencePiece. В карточке указаны 31,2 млн параметров и контекст до 512 токенов. Модель предназначена для перевода текстов с csg на испанский. В README приведены результаты на тестовом наборе JW300.csg.es: BLEU 93,1 и chr-F 0,952. Доступны веса PyTorch и TensorFlow; лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-da-es — модель машинного перевода на архитектуре Transformer, разработанная проектом OPUS и распространяемая командой Helsinki-NLP. Она переводит текст с датского языка на испанский; обучение выполнено на данных OPUS. Веса доступны в форматах PyTorch и TensorFlow, размер модели — 54,6 млн параметров, длина контекста — до 512 токенов. Перед обработкой применяется нормализация и токенизация SentencePiece. Модель предназначена для перевода фраз и документов с датского на испанский. В README приведён результат 53,7 BLEU на тестовом наборе Tatoeba.da.es. Лицензия Apache-2.0 разрешает использование и распространение модели на её условиях. Модель выполняет перевод только в указанном направлении; приведённый результат относится к конкретному тестовому набору и не гарантирует такое же качество на других текстах.

Helsinki-NLP/opus-mt-de-bg — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с немецкого языка на болгарский. Модель обучена для этой языковой пары; при подготовке текста используются нормализация и SentencePiece с раздельными словарями размером 32 тыс. токенов. В метаданных указаны 56,5 млн параметров и контекст до 512 токенов. Модель подходит для перевода отдельных фраз и документов с немецкого на болгарский. В README приведён результат BLEU 50,7 на тестовом наборе Tatoeba-test.deu.bul; этот показатель относится к указанному набору и не гарантирует такое же качество на других текстах. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache 2.0.

Helsinki-NLP/opus-mt-de-da — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на датский и предназначена для автоматического перевода отдельных текстов и интеграции в переводческие конвейеры. Модель построена на архитектуре MarianMT с трансформером; использует нормализацию и токенизацию SentencePiece. В ней 54,4 млн параметров, максимальный контекст — 512 токенов. Доступны веса PyTorch и TensorFlow. Для набора Tatoeba.de.da в карточке приведены оценки BLEU 57,2 и chr-F 0,730. Модель распространяется по лицензии Apache-2.0. Она специализирована на направлении немецкий → датский; показатели на одном тестовом наборе не гарантируют такое же качество на других тематиках и текстах.

Helsinki-NLP/opus-mt-de-en — модель машинного перевода немецкого текста на английский из семейства OPUS-MT, разработанная Helsinki-NLP. Она основана на архитектуре Transformer и реализована как MarianMTModel; в обучении использовались данные OPUS, нормализация текста и токенизация SentencePiece. Размер модели — 54,9 млн параметров, контекст — до 512 токенов. Репозиторий содержит веса PyTorch и TensorFlow. Модель предназначена для перевода отдельных текстов, документов и новостных материалов с немецкого на английский. В карточке приведены результаты на нескольких тестовых наборах новостного перевода: BLEU от 26,8 до 29,4. Модель специализирована на одной языковой паре, поэтому не предназначена для перевода на другие языки. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-de-is — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на исландский и основана на архитектуре Transformer-align, реализованной как MarianMTModel. Модель содержит 55,5 млн параметров, использует нормализацию и SentencePiece с моделями токенизации spm32k; максимальная длина контекста составляет 512 токенов. Модель подходит для перевода отдельных фраз и текстов с немецкого на исландский. В README приведён результат BLEU 27,1 на тесте Tatoeba-test.deu.isl. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-de-no — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на норвежский; целевой язык можно задать токеном в начале предложения в формате >>id<<. Модель построена на архитектуре MarianMT/Transformer-align и содержит 28,8 млн параметров. В обучающих данных объединены варианты норвежского языка букмол и нюнорск. Предобработка включает нормализацию и SentencePiece с словарями по 4 тыс. токенов; контекст — до 512 токенов. Модель подходит для перевода предложений и коротких текстов с немецкого на норвежский. В карточке приведён результат BLEU 33,2 на наборе Tatoeba-test.deu.nor. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-ar — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на арабский; модель построена на архитектуре Transformer и реализована как MarianMTModel. Размер составляет 57,3 млн параметров, контекст — до 512 токенов. Для выбора варианта арабского в начале предложения требуется целевой языковой токен вида >>id<<; доступны, в частности, стандартный арабский и несколько региональных вариантов и записей латиницей. Перед переводом применяются нормализация и SentencePiece-токенизация. В тесте Tatoeba для пары английский—арабский указаны BLEU 14,0 и chr-F 0,437. Модель подходит для перевода коротких текстов и предложений, но приведённые оценки не гарантируют качество для всех тематик и вариантов арабского. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-az — модель машинного перевода из семейства OPUS-MT, подготовленная Helsinki-NLP для перевода с английского на азербайджанский язык. Она основана на архитектуре Transformer-align и доступна в реализации MarianMT; содержит 37,1 млн параметров, а родная длина контекста составляет 512 токенов. Модель принимает английский текст и генерирует перевод на азербайджанский. Для предобработки используются нормализация и SentencePiece с отдельными словарями по 12 тысяч элементов. В карточке приведены результаты на тесте Tatoeba-test.eng.aze: BLEU 18,6 и chr-F 0,477; это оценка на конкретном наборе данных, а не гарантия качества для любых текстов. Веса доступны в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-eu — модель машинного перевода из проекта OPUS, разработанная Helsinki-NLP. Она переводит текст с английского языка на баскский. Модель построена на архитектуре Transformer-align; в метаданных указано 55 млн параметров и контекстное окно 512 токенов. Перед переводом применяется нормализация и токенизация SentencePiece с моделями словаря размером 32 тыс. Тестовые результаты на Tatoeba-test.eng.eus составляют BLEU 31,8 и chr-F 0,590. Модель подходит для перевода отдельных текстов и интеграции в конвейеры машинного перевода. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0. Модель предназначена для направления английский → баскский; результаты могут зависеть от тематики и качества исходного текста.

Helsinki-NLP/opus-mt-en-fiu — модель машинного перевода проекта OPUS-MT, построенная на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с английского на финно-угорские языки: финский, эстонский, венгерский, северносаамский и другие. Для выбора целевого языка перед текстом требуется указать специальный токен вида `>>id<<` с допустимым кодом языка. Модель содержит 55,3 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов; длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow. В README приведены оценки BLEU и chr-F для тестов перевода на финский, эстонский и венгерский. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-hi — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на основе архитектуры Marian. Она переводит текст с английского языка на хинди и предназначена для автоматического перевода отдельных текстов и интеграции в приложения перевода. Модель содержит 56,9 млн параметров, использует Transformer с выравниванием и SentencePiece-токенизацию с нормализацией текста; длина контекста — до 512 токенов. В карточке приведены оценки BLEU 6,9 на newsdev2014, 9,9 на newstest2014-hien и 16,1 на Tatoeba-test, поэтому качество может заметно различаться в зависимости от тематики и тестового набора. Модель обучена для однонаправленного перевода с английского на хинди и не предназначена для обратного перевода. Распространяется по лицензии Apache-2.0.

Helsinki-NLP разработала opus-mt-en-ho — модель машинного перевода с английского языка на хауса. Это компактная модель семейства Marian на архитектуре Transformer, обученная на данных OPUS; в предобработке используются нормализация текста и SentencePiece. Модель содержит 46,9 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch и TensorFlow. Модель предназначена для перевода фраз и текстов с английского на хауса. В README приведены результаты оценки на наборе JW300.en.ho: BLEU 33,9 и chr-F 0,563. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-ig — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка (en) на игбо (ig) и предназначена для автоматического перевода отдельных текстов и более крупных фрагментов. Модель использует архитектуру Transformer-align и предобработку с нормализацией и SentencePiece; число параметров — 53,9 млн, длина контекста — до 512 токенов. Доступны веса PyTorch и TensorFlow. Модель обучена на данных OPUS. В карточке приведены оценки BLEU 39,5 на JW300.en.ig и 3,8 на Tatoeba.en.ig, поэтому качество зависит от тематики и тестового набора. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-ilo — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на илокано. Модель построена на архитектуре Transformer-align, использует нормализацию текста и токенизацию SentencePiece; число параметров составляет 54,7 млн, длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow. Модель подходит для перевода предложений и текстов с английского на илокано, в том числе для локализации и подготовки черновиков. В README приведён результат BLEU 33,2 и chr-F 0,584 на тестовом наборе Tatoeba.en.ilo; эти показатели относятся к указанной оценке и не гарантируют качество для других текстов. Модель выпущена под лицензией Apache-2.0.

Helsinki-NLP/opus-mt-en-inc — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMT. Она переводит текст с английского на набор индийских языков: ассамский, бенгальский, бходжпури, гуджарати, хинди, маратхи, непальский, ория, пенджаби, санскрит, синдхи, сингальский, урду и другие перечисленные в карточке разновидности. Для выбора целевого языка в начале входного текста требуется токен вида >>id<< с допустимым кодом языка. Модель содержит 56,8 млн параметров, использует SentencePiece с словарями размером 32 тыс. токенов и имеет контекст до 512 токенов. Карточка приводит результаты тестов на переводе новостных текстов, однако качество может различаться в зависимости от языка и тематики. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-itc — модель машинного перевода из проекта OPUS-MT на архитектуре Transformer Marian, разработанная Helsinki-NLP. Она переводит текст с английского на набор италийских и родственных языков, включая итальянский, испанский, французский, португальский, каталонский и румынский. Для выбора языка перевода перед текстом требуется специальный токен вида >>id<< с допустимым кодом целевого языка. Модель содержит 54,4 млн параметров, использует SentencePiece с обработкой нормализацией и рассчитана на контекст до 512 токенов. В метаданных указана поддержка английского и ряда языков назначения; README описывает также региональные языки и варианты. Доступны веса PyTorch и TensorFlow. Для контрольных наборов README приводит BLEU 38,0 и chrF2 0,588 в целом, однако качество зависит от языковой пары и домена текста. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-roa — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Она переводит текст с английского на один из поддерживаемых целевых языков и разновидностей, включая французский, испанский, португальский, румынский, каталонский и другие романские языки. Для выбора языка перевода перед текстом требуется указать токен вида >>id<< с допустимым идентификатором языка. Модель построена на архитектуре Transformer и реализована как MarianMTModel; содержит 54,2 млн параметров и рассчитана на контекст до 512 токенов. Для обработки используются нормализация и SentencePiece. В метаданных указаны форматы PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0. Модель предназначена для перевода предложений и текстов с английского на поддерживаемые языки. README приводит результаты оценки на тестовых наборах, но они не гарантируют качество для любых тематик и разновидностей языка. Модель не заявлена как универсальная для перевода в обратном направлении или между любыми парами языков.

Helsinki-NLP/opus-mt-en-sla — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит с английского на группу славянских языков: белорусский, боснийский, болгарский, кашубский, чешский, верхне- и нижнелужицкий, хорватский, македонский, польский, русинский, русский, сербский, словенский и украинский. Целевой язык задаётся специальным токеном в начале предложения в формате >>id<<. Модель основана на архитектуре Transformer MarianMT, содержит 55,3 млн параметров и использует нормализацию и SentencePiece с размером словаря 32 тыс. токенов. Максимальная длина контекста — 512 токенов. Для использования доступны веса в форматах PyTorch и TensorFlow; лицензия — Apache-2.0. Модель предназначена для перевода текстов общего назначения с английского на поддерживаемые славянские языки. В карточке приведены тестовые оценки BLEU и chr-F, однако качество может различаться между языками и тематиками; для некоторых языковых вариантов охват обучающих данных может быть ограничен.

Helsinki-NLP разработала opus-mt-en-ti — модель машинного перевода с английского языка на тигринья. Это компактная модель семейства MarianMT с архитектурой Transformer-align, обученная на данных OPUS; перед обработкой текст нормализуется и разбивается на подслова SentencePiece. Модель содержит 57,4 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для перевода текстов с английского на тигринья. В карточке приведён результат BLEU 25,3 и chr-F 0,382 на тестовом наборе JW300.en.ti. Доступны веса в форматах PyTorch, Safetensors и TensorFlow. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

Helsinki-NLP/opus-mt-en-tl — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с английского на тагальский язык и предназначена для автоматического перевода предложений и текстовых фрагментов. Модель основана на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece; число параметров — 54,5 млн, длина контекста — до 512 токенов. Для обучения использованы данные OPUS и обратный перевод (opus+bt). В тесте Tatoeba.en.tl указаны BLEU 26,6 и chr-F 0,577. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-ur — модель машинного перевода из проекта OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на урду. Модель построена на архитектуре Transformer-align и использует SentencePiece с нормализацией текста; число параметров — 56,9 млн, родной контекст — 512 токенов. Модель предназначена для перевода отдельных текстов и фраз с английского на урду. В тесте Tatoeba-test.eng.urd указаны BLEU 12,1 и chr-F 0,390. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-vi — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с английского на вьетнамский и построена на архитектуре Transformer-align в реализации MarianMT. Модель содержит 52,7 млн параметров, использует нормализацию и SentencePiece с токенизатором на 32 тысячах элементов; для перевода требуется начальный токен целевого языка в формате >>id<<. Метаданные указывают контекст до 512 токенов и поддержку PyTorch и TensorFlow. Модель предназначена для перевода отдельных фраз и текстовых сегментов с английского на вьетнамский. В README приведён результат BLEU 37,2 на тесте Tatoeba-test.eng.vie. Она поддерживает текст на английском и выдаёт текст на вьетнамском, включая указанный в карточке вариант vie_Hani. Лицензия — Apache-2.0. Результаты перевода могут требовать проверки человеком, особенно для длинных текстов и контекстно-зависимых формулировок.

Sams200/opus-mt-en-zh — конвертированная в формат CTranslate2 версия модели Helsinki-NLP/opus-mt-en-zh из проекта OPUS-MT. Она предназначена для автоматического перевода с английского на китайский и запуска через библиотеку CTranslate2. В репозитории находятся веса CTranslate2 и SentencePiece-модели для исходного и целевого языков. Модель подходит для перевода англоязычных текстов на китайский в приложениях, использующих CTranslate2. Исходная модель обучена Helsinki-NLP в рамках проекта OPUS-MT. Репозиторий распространяется по лицензии CC-BY-4.0. Сведения о размере модели и длине контекста в предоставленных источниках отсутствуют.

Helsinki-NLP/opus-mt-en-zls — модель машинного перевода проекта OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с английского на южнославянские языки: боснийский (латиница), болгарский, хорватский, македонский, словенский и сербский (кириллица или латиница). Модель построена на архитектуре Transformer Marian и содержит 54,7 млн параметров; для выбора целевого языка в начале предложения требуется токен вида >>id<<. Модель подходит для перевода предложений и текстовых фрагментов, в том числе для приложений и сервисов, которым нужны переводы на поддерживаемые языки. В README приведены результаты тестов Tatoeba, включая BLEU 47,6 для английско-болгарского и 45,2 для английско-македонского перевода. Модель доступна в форматах PyTorch и TensorFlow, распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-zlw — модель машинного перевода проекта OPUS-MT на архитектуре Transformer Marian. Она переводит с английского на западнославянские языки: польский, чешский, кашубский, нижнелужицкий и верхнелужицкий. Для выбора целевого языка перед текстом требуется добавить специальный токен вида >>id<< с допустимым идентификатором языка. Модель содержит 54,9 млн параметров, использует нормализацию и токенизацию SentencePiece с словарём 32k. Нативная длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow. В README приведены результаты BLEU и chr-F на тестовых наборах для перевода с английского на чешский; эти показатели не гарантируют такое же качество для каждого целевого языка и типа текста. Модель предназначена для перевода текстов и предложений общего назначения. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-cs — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с испанского на чешский и предназначена для автоматического перевода отдельных текстов и интеграции в системы перевода. Модель основана на архитектуре Marian Transformer, содержит 55,2 млн параметров и использует SentencePiece с нормализацией текста; длина контекста — 512 токенов. Для набора Tatoeba.es.cs в карточке приведены оценки BLEU 46,4 и chr-F 0,655. Модель принимает текст на испанском и выдаёт текст на чешском. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-es-pl — модель машинного перевода семейства Marian, разработанная Helsinki-NLP для перевода с испанского языка на польский. Она основана на архитектуре Transformer-align и использует SentencePiece с нормализацией текста; число параметров — 55,7 млн, контекст — до 512 токенов. Модель обучена на данных OPUS. Для набора Tatoeba.es.pl в карточке приведены оценки BLEU 44,6 и chr-F 0,649. Модель подходит для перевода испанских текстов на польский, включая короткие фразы и предложения. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-es-ro — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с испанского языка на румынский и основана на архитектуре Transformer-align. Для предобработки используются нормализация текста и SentencePiece; модель содержит 53,9 млн параметров и имеет контекстное окно 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с испанского на румынский. В README приведён результат BLEU 45,7 и chr-F 0,666 на наборе Tatoeba.es.ro. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Карточка модели mijuanlo/opus-mt-es-uk на Hugging Face совпадает с карточкой Helsinki-NLP/opus-mt-es-uk, поэтому описание составлено по ней. Helsinki-NLP/opus-mt-es-uk — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Она переводит текст с испанского языка на украинский и предназначена для автоматического перевода предложений и коротких текстов. Модель основана на архитектуре Transformer-align и реализована как MarianMTModel; содержит 57,1 млн параметров, использует нормализацию и SentencePiece с словарями spm32k. Контекст составляет до 512 токенов. Для тестового набора Tatoeba-test.spa.ukr указаны BLEU 41,3 и chr-F 0,614. Модель принимает испанский текст и выдаёт украинский перевод. Распространяется по лицензии Apache-2.0.