I.6Перевод и языковая адаптация

Это 8-битная версия модели NLLB-200 Distilled 600M, подготовленная пользователем osa911 для запуска через CTranslate2 на основе facebook/nllb-200-distilled-600M от Meta AI. Она предназначена для перевода между языками и использует токенизатор SentencePiece BPE. В репозитории указаны файлы модели CTranslate2 и общий словарь. Базовая NLLB-200 предназначена для перевода отдельных предложений между 200 языками, включая языки с ограниченными ресурсами. Квантизация INT8 уменьшает размер файла модели примерно до 591 МБ. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Модель nllb-enhanced-darija-eng_v1.1 разработана Anas ABERCHIH и представляет собой дообученную версию NLLB-200 3.3B на 40 тысячах пар предложений для перевода между марокканским арабским диалектом дарижа и английским. Это плотная модель семейства M2M-100 с архитектурой M2M100ForConditionalGeneration, рассчитанная на обработку текста; для загрузки весов используется Transformers, формат файлов — safetensors. Размер модели составляет 2,1 млрд параметров, длина контекста — 1024 токена. Модель предназначена для перевода дарижи на английский и английского на дарижу. Её можно применять для локализации материалов для марокканской аудитории, понимания неформальных публикаций и социальных сетей, а также в учебных инструментах и системах перевода. Автор указывает, что проект продолжает развиваться и обучаться на дополнительных данных. Качество может снижаться на сложных текстах, редких словах, региональных вариантах дарижи и культурно обусловленных выражениях. Модель не предназначена для других арабских диалектов, современного литературного арабского или устной речи; критически важные переводы следует проверять человеком. Лицензия в предоставленных данных не указана.

mbazaNLP разработала модель машинного перевода для образовательных материалов. Это дообученная версия NLLB-200 distilled 1.3B на общих, туристических и образовательных параллельных данных с дополнительным этапом обучения на образовательном наборе. Модель переводит между английским и киньяруанда в обоих направлениях и построена на архитектуре M2M-100 с 665 млн параметров; для запуска используется библиотека Transformers и формат PyTorch. Длина контекста составляет 1024 токена. Модель предназначена для перевода учебных текстов и материалов с английского на киньяруанда и обратно. В карточке приведены оценки BLEU, spBLEU, TER и chrF++ для обоих направлений перевода. Лицензия — CC BY 2.0.

NHNDQ/nllb-finetuned-ko2en — модель машинного перевода, разработанная Juhwan Lee, Jisu Kim, TakSung Heo и Minsu Jeong на основе дообучения facebook/nllb-200-distilled-600M на датасете AI-hub. В README заявлен перевод с английского на корейский, хотя суффикс идентификатора модели указывает на направление с корейского на английский; поэтому фактическое направление следует проверить перед использованием. Модель построена на архитектуре M2M100ForConditionalGeneration, содержит 463,7 млн параметров и принимает текст, выдавая текст. В карточке указаны английский и корейский языки, а максимальный контекст составляет 1024 токена. Авторы сообщают, что BLEU вырос с 26,58 до 55,36 после дообучения. Лицензия — CC-BY-4.0. Модель предназначена для перевода между английским и корейским; README также упоминает генерацию текста в формате text-to-text и аугментацию корейских данных с помощью KoTAN.

Tsengel-mn/nllb-mongolian — дообученная модель перевода на основе дистиллированной NLLB-200 от Meta, предназначенная для перевода между монгольским и английским языками. По карточке, дообучение на монгольских параллельных корпусах улучшило обработку грамматики, порядка слов SOV, кириллической монгольской лексики и контекста в разговорных и технических текстах. Модель использует архитектуру M2M100ForConditionalGeneration и содержит около 463,7 млн параметров. Она принимает текст и выдаёт перевод; заявленный контекст — до 1024 токенов. Репозиторий содержит веса в формате safetensors. Модель рассчитана на перевод текстов общего, разговорного и технического характера между монгольским и английским. Карточка указывает лицензию Apache-2.0. Качество вне этой языковой пары и пределы применения для конкретных узких областей в карточке не описаны.

Helsinki-NLP/opus-mt-am-sv — модель машинного перевода семейства Marian, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с амхарского языка на шведский и предназначена для автоматического перевода отдельных фраз и текстов. Модель построена на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece; размер составляет 57,5 млн параметров, контекст — до 512 токенов. Для набора JW300.am.sv в карточке приведены оценки BLEU 21,0 и chr-F 0,377. Модель принимает текст на амхарском и выдаёт перевод на шведском. Распространяется по лицензии Apache-2.0; доступны веса PyTorch и TensorFlow. Качество может зависеть от тематики и стиля входного текста; приведённая оценка относится к указанному тестовому набору.

Helsinki-NLP/opus-mt-bem-en — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с бемба (bem) на английский (en) и предназначена для перевода отдельных текстов и предложений. Модель построена на архитектуре Marian Transformer с выравниванием, содержит 55,8 млн параметров и использует нормализацию и токенизацию SentencePiece; заявленная длина контекста — 512 токенов. В README приведён результат BLEU 33,4 и chr-F 0,491 на тестовом наборе JW300.bem.en. Модель доступна под лицензией Apache-2.0; указаны форматы PyTorch и TensorFlow. Показатели качества относятся к указанному тестовому набору и не гарантируют такого же качества на других текстах.

Helsinki-NLP/opus-mt-bem-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с бемба (bem) на французский (fr) и предназначена для перевода отдельных фраз и текстов. Модель построена на архитектуре MarianMT с плотным Transformer, содержит 56,4 млн параметров и использует нормализацию и SentencePiece для предварительной обработки. Максимальная длина контекста — 512 токенов. Для оценки перевода в карточке приведены результаты на тестовом наборе JW300.bem.fr: BLEU 25,0 и chr-F 0,417. Модель доступна в форматах PyTorch и TensorFlow и распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-bg-ru — модель машинного перевода из серии OPUS-MT, опубликованной Helsinki-NLP. Она переводит текст с болгарского на русский. Модель основана на архитектуре Transformer и реализована как MarianMT; число параметров — 54,5 млн, длина контекста — 512 токенов. Для обработки текста используются нормализация и SentencePiece с словарями spm32k. Модель предназначена для перевода болгарских текстов на русский, включая отдельные фразы и предложения. В README приведён результат BLEU 48,5 на наборе Tatoeba-test.bul.rus; качество на других текстах может отличаться. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-bzs-en — модель машинного перевода семейства Marian, разработанная для проекта OPUS. Она переводит текст с языка bzs на английский. Модель построена на архитектуре Transformer с выравниванием, использует нормализацию и токенизацию SentencePiece; размер составляет 49,7 млн параметров, контекст — до 512 токенов. Модель обучена на данных OPUS. В карточке приведены результаты на тестовом наборе JW300.bzs.en: BLEU 44,5 и chr-F 0,605. Весовые файлы доступны в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-ceb-es — модель машинного перевода с себуанского языка на испанский. Она предназначена для перевода предложений и текстов в направлении ceb→es и обучена на данных OPUS; в карточке указана модель Transformer с выравниванием, а предобработка включает нормализацию и SentencePiece. Модель реализована на архитектуре MarianMT, содержит 55,5 млн параметров и поддерживает контекст до 512 токенов. Для тестового набора JW300 указаны оценки BLEU 31,6 и chr-F 0,508. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-da-ru — модель машинного перевода из проекта OPUS-MT, разработанная на архитектуре Marian. Она переводит текст с датского языка на русский и рассчитана на однонаправленный перевод между этой языковой парой. Модель содержит 57,4 млн параметров, использует Transformer и предварительную обработку SentencePiece с нормализацией; родная длина контекста — 512 токенов. В карточке приведён результат на наборе Tatoeba-test.dan.rus: BLEU 52,5 и chr-F 0,715. Модель подходит для перевода предложений и текстовых фрагментов с датского на русский, но не предназначена для обратного перевода или других языковых пар. Распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-de-af — модель машинного перевода из проекта OPUS-MT, построенная на архитектуре Transformer-align и реализованная как MarianMT. Она переводит текст с немецкого языка на африкаанс; модель однонаправленная и обучена для этой языковой пары. Модель содержит 55,5 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов и имеет контекстное окно 512 токенов. В README приведён результат BLEU 51,3 на Tatoeba-test.deu.afr. Репозиторий предоставляет веса в форматах PyTorch и TensorFlow. Модель предназначена для перевода немецких текстов на африкаанс, например предложений и коротких документов. Лицензия Apache-2.0.

Helsinki-NLP/opus-mt-de-el — модель машинного перевода из семейства MarianMT, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с немецкого языка на греческий; в качестве данных для обучения указан корпус OPUS. Модель использует архитектуру Transformer, предварительную нормализацию и токенизацию SentencePiece. В репозитории представлены веса PyTorch и TensorFlow; размер модели — 55,9 млн параметров, контекст — до 512 токенов. Модель предназначена для перевода предложений и текстовых фрагментов с немецкого на греческий. В карточке приведён результат BLEU 45,7 и chr-F 0,649 на наборе Tatoeba.de.el. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Модель специализирована на одном направлении перевода, поэтому её не следует считать универсальной или двунаправленной.

Xenova/opus-mt-de-en — модель машинного перевода с весами в формате ONNX, подготовленная для совместимости с библиотекой Transformers.js. Она основана на модели Helsinki-NLP/opus-mt-de-en, разработанной Helsinki-NLP, и предназначена для перевода текстов с немецкого языка на английский, в том числе в веб-приложениях и других средах, поддерживающих Transformers.js. Ключевой особенностью модели является наличие ONNX-весов, что облегчает её использование в JavaScript- и веб-сценариях. Архитектура, размер, максимальная длина контекста, дополнительные модальности и точные языковые характеристики в представленном README не указаны. Лицензия также не указана, поэтому условия коммерческого и иного использования следует уточнять в исходном репозитории Helsinki-NLP/opus-mt-de-en.

Helsinki-NLP/opus-mt-de-he — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с немецкого языка на иврит и подходит для перевода предложений и текстовых материалов между этими языками. Модель основана на архитектуре Marian Transformer, использует нормализацию и SentencePiece; размер составляет 57,5 млн параметров, длина контекста — 512 токенов. Доступны веса PyTorch и TensorFlow. В карточке приведён результат на тестовом наборе Tatoeba.de.he: BLEU 36,6 и chr-F 0,581. Модель распространяется по лицензии Apache-2.0. Она предназначена для одного направления перевода; качество может различаться в зависимости от тематики и формата исходного текста.

Helsinki-NLP/opus-mt-de-ms — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Она переводит текст с немецкого языка на малайский; карточка описывает целевую группу Malay (macrolanguage) и указывает целевые языковые варианты, включая индонезийский и малайский. Модель построена на архитектуре Marian Transformer, содержит 54,7 млн параметров и рассчитана на контекст до 512 токенов. Для предварительной обработки используются нормализация текста и SentencePiece с моделями токенизации на 32 тыс. элементов. Для перевода требуется добавить в начало предложения специальный токен целевого языка вида `>>id<<`, где `id` — допустимый идентификатор целевого языка. В тесте Tatoeba для пары немецкий–малайский указаны BLEU 34,0 и chr-F 0,607. Модель распространяется по лицензии Apache-2.0; доступные форматы — PyTorch и TensorFlow.

Helsinki-NLP/opus-mt-de-vi — модель машинного перевода из семейства Marian, разработанная в рамках проекта OPUS-MT. Она переводит текст с немецкого языка на вьетнамский. Модель основана на архитектуре Transformer-align, содержит около 55 млн параметров и использует нормализацию текста и SentencePiece с моделями словаря spm32k. Контекст составляет до 512 токенов. Модель предназначена для перевода немецких фраз и текстов на вьетнамский, в том числе в сценариях, где нужен локально развёртываемый переводчик. В карточке приведён результат BLEU 25,0 на тесте Tatoeba для пары немецкий—вьетнамский. Доступны веса PyTorch и TensorFlow. Лицензия Apache-2.0 разрешает свободное использование и распространение на её условиях.

Helsinki-NLP разработала opus-mt-de-ZH — модель машинного перевода с немецкого языка на китайский. Она основана на архитектуре MarianMT и Transformer-align, использует SentencePiece и нормализацию текста. Для выбора целевого варианта китайского перед предложением требуется языковой токен вида >>id<<; поддерживаются варианты китайского, указанные в карточке, включая упрощённый и традиционный китайский, кантонский и мандаринский. Модель содержит 56,9 млн параметров, принимает текст и выдаёт переведённый текст. Для тестового набора bible-uedin.de.zh в карточке приведены оценки BLEU 24,4 и chr-F 0,335. Доступны веса PyTorch и TensorFlow; контекст — до 512 токенов. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

Helsinki-NLP/opus-mt-ee-en — модель машинного перевода из семейства MarianMT, разработанная проектом OPUS-MT. Она переводит текст с языка ee на английский; модель основана на архитектуре Transformer-align и обучена на данных OPUS. Перед обработкой используются нормализация текста и токенизация SentencePiece. Размер модели — 54,6 млн параметров, длина контекста — до 512 токенов. Модель подходит для перевода текстов с ee на английский, включая материалы, похожие на тестовые наборы JW300 и Tatoeba; в README приведены оценки BLEU 39,3 для JW300 и 21,2 для Tatoeba. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP разработала opus-mt-en-bem — модель машинного перевода с английского языка на бемба. Это модель семейства Marian на архитектуре Transformer, обученная на данных OPUS; при обработке текста использует нормализацию и токенизацию SentencePiece. Размер модели — 55,8 млн параметров, заявленная длина контекста — 512 токенов. Доступны веса в форматах PyTorch и TensorFlow. Модель предназначена для перевода английских текстов на бемба. В карточке приведены результаты оценки на тестовом наборе JW300.en.bem: BLEU 29,7 и chr-F 0,532. Модель распространяется по лицензии Apache-2.0.

Helsinki-NLP/opus-mt-en-fj — модель машинного перевода проекта OPUS-MT на архитектуре Transformer-align, опубликованная Helsinki-NLP. Она переводит текст с английского языка на фиджийский; обучение основано на данных OPUS, а предварительная обработка включает нормализацию и SentencePiece. Модель содержит 53,8 млн параметров, использует архитектуру Marian и имеет контекст длиной 512 токенов. Модель подходит для перевода отдельных фраз и текстов с английского на фиджийский. В карточке приведены оценки BLEU 34,0 на JW300 и 62,5 на Tatoeba. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-gem — модель машинного перевода проекта OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с английского на германские языки, включая немецкий, нидерландский, шведский, датский, норвежский, исландский, африкаанс, фризский, люксембургский и идиш, а также исторические и региональные языки из перечня модели. Для выбора языка назначения перед текстом требуется указать языковой токен вида >>id<<. Модель использует архитектуру Transformer в реализации MarianMT, содержит 54,2 млн параметров и обучена с нормализацией и токенизацией SentencePiece. Максимальная длина контекста — 512 токенов. Доступны веса в форматах PyTorch и TensorFlow. Репозиторий распространяется по лицензии Apache-2.0. Приведённые в карточке BLEU-оценки различаются по тестовым наборам и языковым парам; качество для редких, исторических и региональных языков может быть ограничено, а контекст ограничивает обработку длинных текстов.

Helsinki-NLP/opus-mt-en-gmq — модель машинного перевода из проекта OPUS-MT, опубликованная Helsinki-NLP. Это плотная Transformer-модель архитектуры Marian с 54,4 млн параметров, предназначенная для перевода с английского на северогерманские языки. Она поддерживает датский, фарерский, исландский, норвежский букмол и нюношк, а также шведский; целевой язык задаётся обязательным начальным токеном вида >>id<<. Для обработки текста используется нормализация и SentencePiece с словарями по 32 тыс. токенов; длина контекста — 512 токенов. Модель подходит для перевода предложений и текстовых фрагментов с английского на указанные языки. В README приведены тестовые результаты для датского, фарерского и исландского, при этом показатели заметно различаются между языками. Модель выпущена под лицензией Apache-2.0.

Helsinki-NLP/opus-mt-en-gmw — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Это трансформер Marian с 53,6 млн параметров, предназначенный для перевода с английского на западногерманские языки. Модель поддерживает целевые языки африкаанс, немецкий, нидерландский, люксембургский, фризские языки, идиш и ряд региональных языков и исторических вариантов. Для выбора языка перевода в начале входа требуется токен вида >>id<< с допустимым кодом целевого языка. Модель использует нормализацию текста и SentencePiece с раздельными словарями размером 32 тыс. токенов; длина контекста — 512 токенов. В README приведены результаты оценки на наборах новостных переводов, включая BLEU 21,4 для направления английский–немецкий. Модель принимает текст и выдаёт текст перевода. Распространяется по лицензии Apache-2.0; возможны ошибки перевода, особенно для редких региональных и исторических вариантов языка.

Helsinki-NLP/opus-mt-en-hy — модель машинного перевода с английского на армянский из семейства OPUS-MT, разработанная Helsinki-NLP. Это модель архитектуры Marian Transformer-align с 29,1 млн параметров, обученная на параллельных данных English–Armenian. Для токенизации используется нормализация текста и SentencePiece с словарями по 4 тыс. токенов; контекст составляет до 512 токенов. Модель подходит для перевода предложений и коротких текстов с английского на армянский. В тесте Tatoeba-test.eng.hye указаны BLEU 16,6 и chr-F 0,404. Репозиторий содержит веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-mg — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского языка на малагасийский. Модель построена на архитектуре Transformer и использует MarianMT; в метаданных указано 53,2 млн параметров и контекст до 512 токенов. Для предобработки применяются нормализация текста и SentencePiece. Модель предназначена для перевода отдельных текстов и фраз с английского на малагасийский. В карточке приведены оценки BLEU 22,3 для GlobalVoices.en.mg и 35,5 для Tatoeba.en.mg. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-pap — модель машинного перевода из семейства MarianMT, разработанная проектом OPUS/Helsinki-NLP. Она переводит текст с английского языка на папьяменто. Модель построена на архитектуре Transformer-align, использует нормализацию и токенизацию SentencePiece; содержит 54,5 млн параметров и рассчитана на контекст до 512 токенов. Модель подходит для перевода отдельных фраз и текстов с английского на папьяменто. В README приведены результаты на тестовых наборах JW300.en.pap (BLEU 40,1; chr-F 0,586) и Tatoeba.en.pap (BLEU 52,8; chr-F 0,665). Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

ooeoeo/opus-mt-en-ru-ct2-float16 — конвертированная версия модели Helsinki-NLP для перевода с английского на русский. Модель в формате CTranslate2 с точностью float16 предназначена для запуска в настольном движке ooeoeo с inference runtime opus-mt-server. Модель использует вариант base семейства OPUS-MT и выполняет машинный перевод текста с английского языка на русский. В README не приведены размер модели и длина контекста. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-en-rw — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с английского на язык руанда (Kinyarwanda). Модель основана на архитектуре Transformer и использует нормализацию текста и SentencePiece для предварительной обработки. В метаданных указаны 56,1 млн параметров и контекст длиной до 512 токенов. Модель подходит для перевода коротких текстов и предложений с английского на руанда. В README приведены результаты на тестовых наборах JW300 и Tatoeba: BLEU 33,3 и 13,8 соответственно. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.