I.6Перевод и языковая адаптация

Helsinki-NLP/opus-mt-tc-big-en-bg — модель машинного перевода проекта OPUS-MT, разработанная с использованием Marian NMT и опубликованная в формате Transformers. Она переводит текст с английского языка на болгарский. Модель основана на архитектуре MarianMT с конфигурацией Transformer Big, содержит 162,5 млн параметров и обучена на данных OPUS с использованием обратного перевода. Контекст модели — до 1024 токенов; для токенизации используется SentencePiece. Модель предназначена для автоматического перевода предложений и текстов с английского на болгарский, в том числе в приложениях на базе Transformers. В карточке приведены результаты тестирования на наборах Tatoeba и FLORES-101. Доступна по лицензии CC BY 4.0.

OPUS-MT — модель машинного перевода проекта OPUS-MT, первоначально обученная с помощью Marian NMT и опубликованная в формате Transformers. Архитектура — Transformer Big на базе Marian; модель содержит около 159,8 млн параметров и принимает последовательности длиной до 1024 токенов. Она переводит текст с английского на чешский и словацкий, используя токенизацию SentencePiece. Модель предназначена для автоматического перевода отдельных предложений и текстов, а также для встраивания перевода в приложения на базе Transformers. В README приведены результаты тестов для чешского и словацкого направлений. Модель выпущена в рамках OPUS-MT; веса доступны по лицензии CC BY 4.0 с требованием указывать авторство.

Helsinki-NLP разработала эту модель машинного перевода в рамках проекта OPUS-MT. Она переводит текст с английского языка на современный греческий и подходит для перевода предложений и текстов в приложениях на базе Transformers. Модель использует архитектуру transformer-big на основе Marian NMT, содержит 160,9 млн параметров и принимает входные последовательности длиной до 1024 токенов. Для токенизации применяется SentencePiece. Веса доступны в форматах PyTorch, Safetensors и TensorFlow. В README приведены результаты оценки на тестовых наборах Tatoeba и FLORES-101. Качество может различаться в зависимости от тематики и стиля исходного текста; модель предназначена для направления английский→греческий. Лицензия — CC BY 4.0.

Helsinki-NLP/opus-mt-tc-big-en-hu — модель машинного перевода проекта OPUS-MT для перевода текста с английского на венгерский. Она разработана на основе Marian NMT и использует архитектуру Transformer Big; в репозитории указано 159 млн параметров. Модель обучена на данных OPUS с применением обратного перевода и токенизации SentencePiece с словарями по 32 тыс. токенов; максимальный нативный контекст составляет 1024 токена. Модель предназначена для перевода предложений и документов с английского на венгерский. В README приведены результаты на тестовых наборах Tatoeba, FLORES-101 и новостном корпусе. Модель принимает текст и выдаёт текст перевода; для работы доступны PyTorch, TensorFlow и Transformers. Лицензия — CC-BY-4.0. Модель рассчитана только на направление английский → венгерский. Приведённые оценки зависят от тестового набора и не гарантируют такое же качество для произвольных текстов или специализированных областей.

Карточка модели Hans-Mueller/opus-mt-tc-big-en-ko на Hugging Face совпадает с карточкой Helsinki-NLP/opus-mt-tc-big-en-ko, поэтому описание составлено по ней. Модель Helsinki-NLP/opus-mt-tc-big-en-ko разработана Language Technology Research Group Хельсинкского университета в рамках проекта OPUS-MT. Это нейросетевая модель машинного перевода на архитектуре Marian transformer-big, предназначенная для перевода текста с английского на корейский. Она обучена на данных OPUS с предобработкой SentencePiece и имеет около 133,4 млн параметров; доступная длина контекста — 1024 токена. Модель подходит для перевода предложений и текстовых фрагментов между английским и корейским языками. Веса доступны в форматах PyTorch, Safetensors и TensorFlow. Лицензия CC-BY-4.0 разрешает использование при соблюдении условий атрибуции. В README приведены сведения об оценке на тестовых данных, но численные результаты не заполнены, поэтому качество для конкретных текстов по этим данным оценить нельзя.

Модель Helsinki-NLP/opus-mt-tc-big-en-ko разработана Language Technology Research Group Хельсинкского университета в рамках проекта OPUS-MT. Это нейросетевая модель машинного перевода на архитектуре Marian transformer-big, предназначенная для перевода текста с английского на корейский. Она обучена на данных OPUS с предобработкой SentencePiece и имеет около 133,4 млн параметров; доступная длина контекста — 1024 токена. Модель подходит для перевода предложений и текстовых фрагментов между английским и корейским языками. Веса доступны в форматах PyTorch, Safetensors и TensorFlow. Лицензия CC-BY-4.0 разрешает использование при соблюдении условий атрибуции. В README приведены сведения об оценке на тестовых данных, но численные результаты не заполнены, поэтому качество для конкретных текстов по этим данным оценить нельзя.

OPUS-MT en-ro — модель машинного перевода с английского на румынский из проекта OPUS-MT. Исходная модель обучена с помощью Marian NMT; версия в Hugging Face преобразована для использования с Transformers. Архитектура — Transformer-big на базе MarianMT, около 156,2 млн параметров, токенизация SentencePiece с словарями по 32 тыс. токенов и контекст до 1024 токенов. Модель предназначена для перевода предложений и текстов с английского на румынский. Она обучалась на данных OPUS с использованием конвейера OPUS-MT-train; в карточке приведены результаты на наборах Tatoeba, FLORES-101 и новостном тестовом наборе. Обратный перевод с румынского на английский не заявлен. Модель выпущена OPUS-MT и распространяется по лицензии CC BY 4.0.

Helsinki-NLP/opus-mt-tc-big-lt-en — модель машинного перевода проекта OPUS-MT, разработанная на основе Marian NMT. Она переводит текст с литовского языка на английский и предназначена для интеграции в приложения и сервисы перевода. Архитектура — Transformer-big; модель содержит 160,6 млн параметров, использует токенизацию SentencePiece и поддерживает контекст до 1024 токенов. Модель обучена на данных OPUS с использованием конвейера OPUS-MT-train и выпущена под лицензией CC BY 4.0. В README приведены результаты оценки на нескольких тестовых наборах, включая Tatoeba и FLORES-101. Указанные оценки относятся к этим наборам и не гарантируют качество на других типах текстов.

Модель opus-mt-tc-big-zle-zle разработана в рамках проекта OPUS-MT и предназначена для машинного перевода между восточнославянскими языками: белорусским, русским и украинским. Она основана на архитектуре Marian и обучена на данных OPUS с использованием процедур OPUS-MT-train; в карточке Hugging Face указано 137,8 млн параметров и контекст до 1024 токенов. Репозиторий содержит версии весов для PyTorch, safetensors и TensorFlow. Модель подходит для перевода текстов и предложений между белорусским, русским и украинским. В README приведён пример перевода с русского на украинский и опубликованы результаты тестирования для нескольких языковых пар. Модель выпущена в 2022 году и распространяется по лицензии CC BY 4.0; при использовании следует учитывать условия атрибуции. Качество может различаться между направлениями перевода и зависит от тематики и формулировок текста.

Это модель машинного перевода Helsinki-NLP из проекта OPUS-MT. Она построена на архитектуре Marian и предназначена для перевода с западнославянских языков на восточнославянские: с чешского, нижнелужицкого, верхнелужицкого и польского на белорусский, русский и украинский. Модель содержит 163,7 млн параметров, принимает текст и обучена на данных OPUS; веса доступны в форматах PyTorch и Safetensors. Контекст — до 1024 токенов. Модель подходит для перевода отдельных фраз и текстов между указанными языками, включая малоресурсные языковые пары. В карточке приведены тестовые результаты, в частности для чешско-русского и чешско-украинского перевода. Лицензия — CC BY 4.0; при использовании следует учитывать требования атрибуции. Качество может различаться между языковыми парами, а доступные тестовые оценки не гарантируют точность для любой тематики или длинного документа.

Helsinki-NLP/opus-mt-tr-ar — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Это трансформер Marian с 57,6 млн параметров, предназначенный для перевода текста с турецкого на арабский. Используются нормализация и токенизация SentencePiece; для выбора целевого варианта арабского требуется начальный языковой токен вида >>id<<. Модель обучена на данных OPUS и поддерживает перевод на несколько вариантов арабского письма и диалектов, включая арабский, арабский в латинице и отдельные региональные варианты. В карточке приведён результат BLEU 14,9 на тесте Tatoeba для пары турецкий—арабский. Доступны веса PyTorch и TensorFlow, максимальная длина контекста — 512 токенов. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-uk-de — модель машинного перевода украинского языка на немецкий из проекта OPUS-MT, опубликованная Helsinki-NLP. Это компактная модель MarianMT на архитектуре Transformer-align с 57,2 млн параметров и контекстом до 512 токенов. Для обработки текста применяются нормализация и SentencePiece с словарями по 32 тыс. токенов для каждого языка. Модель предназначена для перевода отдельных текстов с украинского на немецкий. В README приведён результат BLEU 48,2 на наборе Tatoeba-test.ukr.deu. Репозиторий содержит веса в форматах PyTorch и TensorFlow; лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-uk-fi — модель машинного перевода украинского языка на финский из семейства OPUS-MT, разработанная Helsinki-NLP. Она построена на архитектуре Transformer-align и обучена на данных OPUS; при подготовке текста используются нормализация и SentencePiece. Модель содержит 57,1 млн параметров, принимает текст и имеет контекстное окно до 512 токенов. Модель предназначена для перевода предложений с украинского на финский. В тесте JW300.uk.fi в карточке указаны BLEU 24,4 и chr-F 0,490. Доступны веса PyTorch, Safetensors и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-vi-de — модель машинного перевода Vietnamese→German из семейства OPUS-MT, опубликованная Helsinki-NLP. Это плотная трансформерная модель MarianMT примерно с 55 млн параметров, принимающая вьетнамский текст и выдающая перевод на немецкий. Перед обработкой используются нормализация и SentencePiece с моделью словаря 32k; заявленное контекстное окно — 512 токенов. Модель предназначена для перевода отдельных текстов с вьетнамского на немецкий. В карточке приведён результат BLEU 27,6 и chr-F 0,484 на тесте Tatoeba для этой языковой пары. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-zh-de — модель машинного перевода, разработанная Helsinki-NLP в рамках проекта OPUS-MT. Она переводит текст с китайского на немецкий и построена на архитектуре Transformer с выравниванием. Вариант реализован как MarianMTModel и содержит около 58,4 млн параметров. Модель рассчитана на перевод стандартного китайского и ряда вариантов китайского, включая кантонский, уский и классический китайский, на немецкий. Для предобработки используются нормализация и SentencePiece с словарём на 32 тыс. токенов; длина контекста — 512 токенов. В карточке приведён результат BLEU 32,1 на тестовом наборе Tatoeba для пары китайский—немецкий. Модель подходит для автоматического перевода китайских текстов на немецкий, но качество может зависеть от диалекта, тематики и длины текста. Лицензия — Apache-2.0.

gaudi/opus-mt-zh-en-ctranslate2 — версия модели перевода Opus-MT, подготовленная сообществом на основе работ Helsinki-NLP, CTranslate2 и michaelfeil. Это encoder-decoder модель семейства Marian для перевода с китайского на английский, преобразованная в формат CTranslate2 для ускоренного инференса на CPU и GPU. Для вычислений поддерживаются режимы int8 на CPU и int8_float16 на CUDA. Модель предназначена для перевода текстов с китайского языка на английский, в том числе при пакетной обработке и развёртывании сервиса перевода. CTranslate2 оптимизирует выполнение за счёт таких приёмов, как квантование весов и объединение слоёв; приведённые в README бенчмарки показывают ускорение на тестовых конфигурациях, но относятся к другим языковым направлениям и условиям запуска. Внутренние тесты авторов конвертации показали возможное небольшое снижение BLEU относительно исходных чекпойнтов; эффект зависит от конфигурации и квантования. Размер модели и длина контекста в предоставленных данных не указаны. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-zh-ms — модель машинного перевода из семейства OPUS-MT, подготовленная Helsinki-NLP на основе архитектуры Transformer и реализованная как MarianMTModel. Она переводит текст с китайского языка на малайский; поддерживаются варианты китайского письма и речи, перечисленные в карточке, а целевой язык включает индонезийский и малайский варианты. Размер модели — 58,4 млн параметров, родной контекст — до 512 токенов. Для выбора целевого языка перед текстом требуется языковой токен вида >>id<<; используется нормализация и токенизация SentencePiece с словарём 32k. В тесте Tatoeba для пары китайский—малайский указаны BLEU 13,9 и chr-F 0,390. Модель доступна в форматах PyTorch и TensorFlow по лицензии Apache-2.0.

PersianMind-v1.0 — кросс-лингвальная большая языковая модель на базе архитектуры Llama, разработанная Педрамом Ростами, Али Салеми и Мохаммадом Джавадом Дусти. Модель содержит 6,6 млрд параметров, работает с текстом и имеет контекстное окно 2048 токенов. Она предназначена для генерации текста на персидском и английском языках, включая понимание прочитанного, ответы на вопросы и перевод между этими языками. В карточке сообщается о высоких результатах на персидской части Belebele и задаче множественного выбора ParsiNLU, а также о сопоставимой с GPT-3.5-turbo точности в тесте на понимание персидского текста. Оценки из README также включают перевод персидского и английского на Flores-200. Модель доступна в форматах PyTorch и Safetensors через Transformers. Лицензия CC BY-NC-SA 4.0 разрешает использование на некоммерческих условиях с соблюдением требований лицензии.

quickmt/quickmt-en-he — нейросетевая модель машинного перевода с английского на иврит, разработанная проектом QuickMT. Она обучена с помощью eole и предназначена для быстрого перевода текстов; заявлено использование для инференса в формате CTranslate2. Архитектура — Transformer примерно на 200 млн параметров, с 8 слоями энкодера и 2 слоями декодера; для токенизации используются отдельные SentencePiece-словари по 32 тыс. элементов. В README приведены результаты оценки на Flores200 devtest для направления en→he: BLEU 34,32, chrF2 62,37 и COMET22 87,91. Измеренное время обработки 1012 предложений составило 1,15 секунды на Nvidia RTX 4070s с размером пакета 32; для запуска на GPU требуется CUDA Toolkit. Модель распространяется по лицензии CC BY 4.0.

Qwen3-Izy-Translate-EN-TH-0.6B — компактная языковая модель, разработанная izyya на базе unsloth/qwen3-0.6b-unsloth-bnb-4bit и дообученная для перевода между английским и тайским языками в обоих направлениях. Модель использует архитектуру Qwen3ForCausalLM, содержит около 507,9 млн параметров и распространяется в формате safetensors. Для загрузки и работы указаны Transformers; при обучении использовались Unsloth и библиотека TRL. Модель предназначена для перевода предложений и текстов с английского на тайский и с тайского на английский. В карточке приведены отдельные шаблоны запросов для обоих направлений; для результата рекомендуется следовать указанному формату. Контекст модели составляет до 40 960 токенов. Лицензия Apache-2.0.

Sugoi v4 JPN→ENG — нейронная модель машинного перевода с японского на английский, подготовленная MingShiba. Репозиторий предназначен для запуска через CTranslate2; в карточке также указана библиотека fairseq и задача перевода. README описывает пакетную обработку и зависимость от SentencePiece. Модель подходит для перевода японских текстов на английский, в том числе пакетами. Метаданные указывают поддержку японского и английского языков. Лицензия обозначена как other; конкретные условия использования в доступных материалах не раскрыты.

Sunflower-14B — многоязычная языковая модель Sunbird AI для перевода и генерации текста на 31 языке Уганды и английском. Это авторегрессионная модель на архитектуре Qwen3-14B с 14 млрд параметров, дообученная для диалогов и следования инструкциям; в этой версии также применён этап оптимизации GRPO. Модель предназначена для перевода между английским и языками Уганды, а также между самими языками Уганды. Она может отвечать на фактические вопросы, создавать и обобщать тексты, объяснять информацию и поддерживать образовательные сценарии. Разработчик сообщает об улучшениях точности перевода, качества ответов и следования инструкциям после GRPO-дообучения. Качество зависит от языка и объёма доступных обучающих данных; на малоресурсных языках ответы могут быть непоследовательными, а в узкоспециализированных областях возможны ошибки и выдуманные факты. Для медицинского, юридического и финансового применения рекомендуется проверка человеком. Модель распространяется по лицензии Apache-2.0; для использования в производстве также доступен API Sunbird AI.

Карточка модели conor9999/t5-large на Hugging Face совпадает с карточкой google-t5/t5-large, поэтому описание составлено по ней. T5-Large — языковая модель семейства Text-To-Text Transfer Transformer, разработанная Colin Raffel, Noam Shazeer и коллегами. Она преобразует текстовый ввод в текстовый вывод и обучалась в едином формате для разных задач обработки естественного языка. В карточке Hugging Face основная задача модели указана как перевод; размер версии в метаданных — 385,2 млн параметров, архитектура — T5ForConditionalGeneration. В README приведён размер 770 млн параметров, поэтому сведения о размере в источниках расходятся. Модель предназначена для перевода и может применяться после соответствующей настройки для суммаризации, ответов на вопросы, классификации и других текстовых задач. Заявленные языки — английский, французский, румынский и немецкий; длина контекста — 512 токенов. Предобучение проводилось на C4 и наборах данных для языковых задач. Модель доступна в форматах PyTorch, TensorFlow, Flax и safetensors. Лицензия — Apache 2.0. Возможности модели ограничены обучающими данными и контекстом; результаты могут содержать ошибки и отражать смещения данных. README не приводит подробных оценок качества или конкретных ограничений для отдельных сценариев.

yhavinga/t5-small-24L-ccmatrix-multi — модель перевода на основе архитектуры T5, разработанная yhavinga и дообученная для перевода между нидерландским и английским языками. Она предназначена для двустороннего перевода: с нидерландского на английский и с английского на нидерландский. Модель содержит 104,5 млн параметров и использует архитектуру T5ForConditionalGeneration. Для обучения применялся датасет CCMatrix; в карточке также описаны оценки перевода на тестовых данных. Репозиторий содержит веса в форматах PyTorch и Flax. Лицензия — Apache-2.0. Модель подходит для автоматического перевода текстов между нидерландским и английским, включая предложения и документы. Обучение основано на ограниченной части данных CCMatrix, поэтому опубликованные оценки следует рассматривать в контексте описанных тестовых наборов; результаты на других тематиках и типах текста могут отличаться.

Модель utrobinmv/t5_translate_en_ru_zh_large_1024_v2 — дообученный трансформер T5 для машинного перевода между русским, китайским и английским языками. Она поддерживает все шесть направлений перевода между этими языками; язык назначения задаётся префиксом «translate to :», а исходный язык можно не указывать, в том числе если текст смешанный. Модель содержит 419 млн параметров и распространяется в формате safetensors по лицензии Apache-2.0. Версия обучена на более шумных данных с функцией снижения шума. Помимо перевода, модель может восстанавливать отсутствующую пунктуацию, что полезно для текстов после распознавания речи, а также переводить небольшие Markdown-файлы с сохранением разметки и HTML-тегов. Карточка не приводит результатов оценки качества, поэтому точность перевода для конкретных тематик и длинных текстов по ней определить нельзя.

Tower-7B-Sep_0c1t — модель ynklab, выпущенная в рамках исследования Doc2FRC. Это полно-параметрически дообученная версия Unbabel/TowerInstruct-Mistral-7B-v0.2 на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для машинного перевода фрагментов документов: каждый вызов переводит один исходный фрагмент в целевой без использования предыдущих фрагментов контекста. Обучение проводилось на примерах sardinelab/DocBlocks с фиксированным разбиением на фрагменты длиной 256–512 токенов; максимальная длина последовательности составляет 32 768 токенов. Модель переводит между английским и немецким, испанским, французским, итальянским, корейским, нидерландским, португальским, русским и китайским языками в обоих направлениях. Она принимает текст с указанием исходного и целевого языков и генерирует переведённый текст. Для воспроизведения документного разбиения, формата запросов и оценки авторы рекомендуют использовать материалы проекта Doc2FRC. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование.

TheBloke/TowerInstruct-7B-v0.1-GGUF — это квантизированная версия модели TowerInstruct 7B v0.1, разработанной Unbabel и преобразованной TheBloke в формат GGUF. Модель основана на архитектуре Llama и предназначена прежде всего для задач машинного перевода и многоязычных инструкций. Модель поддерживает английский, немецкий, французский, китайский, португальский, нидерландский, русский, корейский, итальянский и испанский языки. Варианты GGUF доступны с квантованием от 2 до 8 бит, что позволяет запускать модель локально с использованием CPU и GPU через llama.cpp и совместимые приложения. В README размер контекстного окна и дополнительные модальности не указаны; модель является текстовой. К сильным сторонам относятся многоязычная направленность, возможность локального запуска и выбор уровня квантования. Ограничения включают специализацию преимущественно на переводе, потенциальное снижение качества при агрессивном квантовании и отсутствие подробных данных о производительности и контекстном окне. Модель заявлена под лицензией CC BY-NC 4.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2. Коммерческое использование может быть ограничено.

TowerVision-2B — мультиязычная vision-language модель проекта utter-project для анализа изображений и генерации текстовых ответов. Она предназначена для описания изображений, визуальных вопросов и ответов, суммаризации, понимания диаграмм и документов, а также мультимодального перевода с учётом языкового и культурного контекста. Модель содержит 2 млрд параметров и использует архитектуру LLaVA-NeXT: языковую основу Tower-Plus-2B, визуальный энкодер SigLIP2-patch14-384 и мультимодальный адаптер. Она принимает текст и изображения, генерирует текст; заявленная длина контекста — 8192 токена. В карточке перечислены европейские и азиатские языки, включая русский, английский, немецкий, китайский, японский и хинди. Модель обучена на мультиязычном наборе VisionBlocks и ориентирована на широкий круг задач визуального понимания, с заявленным акцентом на мультимодальный перевод и культурно-зависимые задачи. Для запуска авторы рекомендуют точность bfloat16. Лицензия CC-BY-NC-SA-4.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов.

TowerVision-9B — мультимодальная языковая модель с открытыми весами от проекта TowerVision, предназначенная для работы с изображениями и текстом. Версия содержит 9 млрд параметров и основана на Unbabel/Tower-Plus-9B, соединённой с визуальным энкодером SigLIP2-patch14-384 через мультимодальный адаптер. Модель поддерживает контекст до 8192 токенов и обрабатывает изображения вместе с текстовыми запросами, выдавая текст. Модель подходит для описания изображений, визуальных вопросов и ответов, суммаризации, анализа графиков и документов, а также мультиязычного перевода с учётом визуального и культурного контекста. В README перечислены европейские и азиатские языки, включая русский; метаданные также указывают поддержку 17 языков. Рекомендуемая точность для запуска — bfloat16. Модель поставляется в формате safetensors и использует библиотеку Transformers. Лицензия CC-BY-NC-SA-4.0 требует указания авторства, распространения производных материалов на тех же условиях и не разрешает коммерческое использование.

WindyTranslate/translate-ber-fr — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с берберского языка на французский. Она основана на Helsinki-NLP/opus-mt-ber-fr: к исходным весам применили дообучение LoRA на параллельном корпусе и объединили адаптер с базовой моделью. Модель использует архитектуру MarianMT, содержит 35,9 млн параметров и принимает текст с контекстом до 512 токенов. Репозиторий содержит сборку Transformers в формате safetensors. Лицензия — Apache-2.0.