I.6Перевод и языковая адаптация

Helsinki-NLP/opus-mt-ti-en — модель машинного перевода семейства MarianMT, разработанная Helsinki-NLP в рамках проекта OPUS. Она переводит текст с тигринья (ti) на английский (en) и предназначена для перевода отдельных фраз и документов. Модель использует архитектуру Transformer, нормализацию текста и токенизацию SentencePiece; размер составляет 57,4 млн параметров, контекст — до 512 токенов. Для набора JW300.ti.en в карточке приведены оценки BLEU 30,4 и chr-F 0,461. Модель распространяется по лицензии Apache-2.0. В метаданных указаны форматы PyTorch и TensorFlow.

opus-mt-tr-en — модель машинного перевода из проекта OPUS-MT, построенная на архитектуре Transformer-align и реализованная как MarianMTModel. Она переводит текст с турецкого языка на английский; в карточке указаны нормализация и токенизация SentencePiece, а метаданные сообщают о 57,1 млн параметров и контексте до 512 токенов. Модель подходит для перевода предложений и текстовых фрагментов с турецкого на английский. В README приведены результаты BLEU 24,7–27,6 и chr-F 0,530–0,548 на нескольких тестовых наборах новостных текстов. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Helsinki-NLP/opus-mt-tr-fr — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она переводит текст с турецкого на французский и подходит для перевода предложений и текстовых фрагментов в приложениях и рабочих процессах обработки языков. Модель построена на архитектуре MarianMT с Transformer и использует нормализацию текста и SentencePiece; размер — 55,8 млн параметров, заявленная длина контекста — 512 токенов. Модель обучена на данных OPUS. В карточке приведён результат BLEU 45,3 и chr-F 0,627 на наборе Tatoeba.tr.fr. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache-2.0.

Qwen2.5-7B-Sep_1c1t — модель SardineLab для многоязычного машинного перевода на уровне фрагментов документов. Она создана полнопараметрическим дообучением Qwen/Qwen2.5-7B-Instruct на примерах из sardinelab/DocBlocks с разбиением текста на фрагменты фиксированного диапазона. Для перевода каждого текущего фрагмента модель учитывает один предшествующий фрагмент исходного текста, помогая сохранять контекст документа. Модель поддерживает перевод между английским и немецким, испанским, французским, итальянским, корейским, нидерландским, португальским, русским и китайским языками. Модель имеет плотную архитектуру Qwen2, 7,1 млрд параметров и контекстное окно 32 768 токенов. Она предназначена для сценария Sep_1c1t: один предыдущий контекстный фрагмент и один целевой фрагмент на каждый вызов; при обучении использовались фрагменты длиной 256–512 токенов. Для воспроизведения метода разбиения и процедуры оценки авторы отсылают к материалам статьи Doc2FRC и связанному репозиторию. Модель распространяется по лицензии Apache-2.0.

Randeng-Deltalm-362M-En-Zh — модель перевода с английского на китайский, разработанная в рамках проекта Fengshenbang. Это дообученная на базе DeltaLM модель архитектуры Deltalm с 248,6 млн параметров по метаданным Hugging Face; README приводит размер 362 млн параметров. Для обучения использовали 30 млн англо-китайских пар и 200 тыс. параллельных примеров IWSLT. Модель принимает текст на английском и генерирует перевод на китайский; длина контекста составляет 512 токенов. В README приведён результат BLEU 40,22 на наборе FLORES-101 для направления en-zh. Модель предназначена для автоматического перевода; практическое качество зависит от тематики и формулировок текста. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Seagull-13b-translation — модель перевода, разработанная Jisoo Kim (kuotient) как личный эксперимент. Она создана на основе beomi/llama-2-koen-13b и дообучена на наборах данных для корейско-английского перевода, включая ShareGPT DeepL, KOR-OpenOrca-Platypus-v3 и параллельные корпуса AIHUB. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 12,9 млрд параметров и рассчитана на контекст до 4096 токенов. Модель предназначена для перевода между корейским и английским языками. В обучении уделялось внимание сохранению пробелов и переводов строк, а также обработке кода, Markdown и LaTeX. Она принимает текст в формате диалога ChatML и генерирует текст перевода; автор рекомендует внимательно проверять результаты, особенно когда исходный текст содержит код или специальное форматирование. Лицензия — CC BY-NC-SA 4.0 с условиями LLAMA 2 COMMUNITY LICENSE AGREEMENT, поэтому перед использованием следует учитывать оба набора условий. Автор указывает, что модель является личным экспериментом и не связана с его работодателем.

perkan/shortM-opus-mt-tc-base-en-sr — модель машинного перевода с английского на сербский, созданная на базе Helsinki-NLP/opus-mt-tc-base-sh. Автор дообучил её на датасете OPUS-100, модифицированном с помощью Paraphrasing Database размера M. Модель использует архитектуру MarianMT и содержит 55,2 млн параметров; она принимает текст и выдаёт перевод на сербский язык. Модель предназначена для перевода английских текстов на сербский. Она опубликована в формате PyTorch под лицензией MIT. Контекст модели — до 512 токенов.

T5-11B — языковая модель семейства Text-To-Text Transfer Transformer, разработанная Colin Raffel, Noam Shazeer и коллегами. Она представляет задачи обработки естественного языка в формате преобразования текста в текст: модель получает текстовую инструкцию и входной текст, а затем генерирует текстовый ответ. В README указано 11 миллиардов параметров; метаданные каталога сообщают 385,2 млн параметров, поэтому размер модели в источниках расходится. Архитектура — плотная T5WithLMHeadModel, контекст — 512 токенов. Основная задача в метаданных — перевод. Модель также может служить основой для дообученных сценариев суммаризации, ответов на вопросы, классификации и анализа тональности. Указанные языки — английский, французский, румынский и немецкий; предобучение проводилось на корпусе C4 и смеси задач, включая Wiki-DPR и наборы для классификации, сходства предложений и вопросов-ответов. Для загрузки весов требуется значительный объём памяти: README сообщает, что только веса занимают более 40 ГБ, и рекомендует распределение модели между устройствами либо ZeRO-Offload. Лицензия — Apache 2.0.

T5-Base — языковая модель семейства Text-To-Text Transfer Transformer, разработанная Колином Раффелом, Ноамом Шазиром и соавторами. Она представляет задачи обработки естественного языка в едином формате: принимает текст и генерирует текст. По метаданным, модель содержит 123,8 млн параметров, имеет архитектуру T5ForConditionalGeneration и контекст до 512 токенов; доступна в форматах Flax, PyTorch, Safetensors и TensorFlow. Основная задача этой версии в каталоге — перевод. Авторы также описывают применение T5 для суммаризации документов, ответов на вопросы, классификации, анализа тональности, перефразирования и регрессии, если модель дообучена под конкретную задачу. Модель рассчитана на английский, французский, румынский и немецкий языки и предварительно обучена на корпусе C4 в рамках смеси задач. Лицензия — Apache 2.0. Модель общего назначения, поэтому качество для конкретной задачи зависит от подходящего формата запроса и, часто, от дообучения. README не содержит конкретных оценок качества или подробных сведений об ограничениях и рисках; контекст в 512 токенов ограничивает длину входа.

T5-Large — языковая модель семейства Text-To-Text Transfer Transformer, разработанная Colin Raffel, Noam Shazeer и коллегами. Она преобразует текстовый ввод в текстовый вывод и обучалась в едином формате для разных задач обработки естественного языка. В карточке Hugging Face основная задача модели указана как перевод; размер версии в метаданных — 385,2 млн параметров, архитектура — T5ForConditionalGeneration. В README приведён размер 770 млн параметров, поэтому сведения о размере в источниках расходятся. Модель предназначена для перевода и может применяться после соответствующей настройки для суммаризации, ответов на вопросы, классификации и других текстовых задач. Заявленные языки — английский, французский, румынский и немецкий; длина контекста — 512 токенов. Предобучение проводилось на C4 и наборах данных для языковых задач. Модель доступна в форматах PyTorch, TensorFlow, Flax и safetensors. Лицензия — Apache 2.0. Возможности модели ограничены обучающими данными и контекстом; результаты могут содержать ошибки и отражать смещения данных. README не приводит подробных оценок качества или конкретных ограничений для отдельных сценариев.

Модель utrobinmv/t5_translate_en_ru_zh_base_200 — мультиязычная модель машинного перевода на базе архитектуры T5, представленная разработчиком utrobinmv. Она предназначена для перевода между русским, китайским и английским языками в направлениях ru↔zh, en↔zh и en↔ru. Целевой язык задаётся префиксом «translate to:»; исходный язык можно не указывать, а входной текст может быть многоязычным. Модель содержит 149,1 млн параметров и распространяется в формате safetensors; в метаданных указан датасет CCMatrix. Лицензия — Apache-2.0. Карточка не приводит ограничений качества или контекста.

utrobinmv/t5_translate_en_ru_zh_small_1024 — компактная модель машинного перевода на архитектуре T5, представленная автором карточки как мультиязычная модель для перевода между русским, китайским и английским языками. Она поддерживает пары ru↔zh, en↔zh и en↔ru; целевой язык задаётся префиксом «translate to :», а исходный текст может быть многоязычным. Модель содержит 62,7 млн параметров и распространяется в формате safetensors. Она предназначена для прямого перевода текстов между тремя указанными языками. В метаданных указан датасет CCMatrix. Лицензия — Apache-2.0.

NlpHUST/t5-vi-en-base — модель машинного перевода вьетнамского и английского языков на архитектуре T5. Разработчики обучили её на 4 млн пар предложений на английском и вьетнамском языках. Модель содержит около 291,2 млн параметров и доступна в форматах PyTorch и Flax. Модель предназначена для перевода текста между вьетнамским и английским языками. Её можно применять для перевода предложений и текстовых фрагментов в обе стороны. Для использования доступны реализации на базе Transformers. В карточке не указаны длина контекста и лицензия; условия распространения следует проверить отдельно. Качество может зависеть от тематики и длины входного текста.

Tilmash — модель машинного перевода, разработанная на основе NLLB компании Facebook и дообученная для работы с казахским, русским, английским и турецким языками. Она предназначена для перевода между этими языками и может использоваться через pipeline перевода в библиотеке Transformers. Модель оценивалась на тестовых наборах FLoRes и KazParC; карточка приводит результаты BLEU и chrF, но численные значения в доступном тексте не указаны. Лицензия и размер модели в предоставленных сведениях не приведены.

Tower-7B-Sep_2c1t — модель Unbabel TowerInstruct-Mistral-7B-v0.2, дообученная SardineLab полным супервизируемым fine-tuning для многоязычного машинного перевода на уровне фрагментов документов. При переводе текущего фрагмента модель принимает два предшествующих фрагмента исходного текста в отдельных секциях контекста, чтобы учитывать связность документа. Обучение проводилось на примерах sardinelab/DocBlocks с разбиением на фрагменты фиксированного диапазона 256–512 токенов. Модель построена на плотной архитектуре Mistral с 7,1 млрд параметров; максимальная длина контекста — 32 768 токенов. Она переводит между английским и немецким, испанским, французским, итальянским, корейским, нидерландским, португальским, русским и китайским в обоих направлениях. Для наилучшего соответствия обучению следует передавать два предыдущих фрагмента отдельно и использовать полные английские названия языков в промпте. Модель предназначена для последовательного перевода документов с учетом контекста между фрагментами. Это генеративная модель, поэтому качество перевода и соблюдение границ фрагментов могут зависеть от промпта и входных данных. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства и на аналогичных условиях, но некоммерческое.

TowerBase-7B-v0.1 — языковая модель Unbabel, Instituto Superior Técnico и CentraleSupélec University of Paris-Saclay, полученная продолжением предобучения Llama 2 на 20 млрд токенов монолингвальных данных на десяти языках и двуязычных данных. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров и контекстом 4096 токенов. Модель предназначена для многоязычного перевода и смежных задач, включая постредактирование машинного перевода (APE) и исправление грамматики (GEC); эти задачи она выполняет в режиме few-shot и может быть дообучена для zero-shot-сценариев. Разработчики отмечают улучшение работы на поддерживаемых языках при сохранении возможностей Llama 2 для английского. Модель принимает текст и генерирует текст. Поддерживаются английский, португальский, испанский, французский, немецкий, нидерландский, итальянский, корейский, китайский и русский языки. Модель не гарантирует хороших результатов на других языках и не проходила выравнивание по человеческим предпочтениям, поэтому возможны галлюцинации, вредные или недостоверные ответы. Лицензия — CC-BY-NC-4.0; также применяются условия лицензии Llama 2. Карточка позиционирует модель для исследований.

Windstorm Labs опубликовала компактную модель машинного перевода с болгарского на русский. Это дообученная версия Helsinki-NLP/opus-mt-bg-ru на параллельных данных OPUS-100; архитектура MarianMT, около 54,5 млн параметров. Модель принимает текст и генерирует перевод. Репозиторий содержит сборку Transformers в формате safetensors, а указанный контекст составляет 512 токенов. Модель подходит для перевода болгарских фраз и документов на русский. В проверке на 48 предложениях FLORES-200 она получила chrF++ 45,69 и BLEU 20,56; это предварительная оценка, а не результат публикационного исследования. Поддерживается только направление bg→ru, а качество может зависеть от данных и конкретного текста. Лицензия — Apache-2.0.

Windstorm Labs опубликовала модель машинного перевода с немецкого на английский. Это дообученная версия Helsinki-NLP/opus-mt-de-en на базе MarianMT: LoRA-дообучение на параллельном корпусе было объединено с исходными весами. Модель содержит 54,9 млн параметров, принимает текст и имеет контекст до 512 токенов. Модель предназначена для перевода немецких фраз и документов на английский. В карточке приведена оценка chrF++ 65,36 и BLEU 40,71 на 48 предложениях набора FLORES-200 dev; это скрининговая оценка, а не результат публикационного исследования. Поддерживается направление перевода только с немецкого на английский. Лицензия — Apache-2.0.

Windstorm Labs опубликовала модель машинного перевода с немецкого на эстонский. Это дообученная версия Helsinki-NLP/opus-mt-de-et на параллельных данных OPUS-100; архитектура MarianMT, размер — 54,9 млн параметров, максимальный контекст — 512 токенов. Модель предназначена для перевода немецких текстов на эстонский и доступна в формате safetensors для Transformers. В ограниченной проверке на 48 предложениях FLORES-200 dev модель получила chrF++ 46,05 и BLEU 16,77; авторы характеризуют этот результат как скрининговую оценку, а не результат публикационного исследования. Поддерживается только направление de→et. Лицензия — Apache-2.0.

Windstorm Labs опубликовала дообученную модель машинного перевода с английского на финский. Это плотная encoder-decoder модель MarianMT на базе Helsinki-NLP/opus-mt-en-fi, содержащая 58,4 млн параметров и рассчитанная на контекст до 512 токенов. LoRA-дообучение на параллельных текстах было объединено с базовыми весами; модель распространяется в формате safetensors и загружается через Transformers. Модель предназначена для перевода английских фраз и документов на финский. В проверке на 48 предложениях FLORES-200 она получила chrF++ 53,04 и BLEU 23,01; это скрининговая оценка, а не результат публикационного исследования. Поддерживается только направление en→fi, а качество может различаться в зависимости от текста. Лицензия — Apache-2.0.

Windstorm Labs выпустила компактную модель машинного перевода с английского на французский. Это дообученная версия Helsinki-NLP/opus-mt-en-fr: LoRA-адаптер обучили на параллельных текстах и объединили с базовыми весами. Модель содержит 55,6 млн параметров, использует архитектуру MarianMT и принимает контекст длиной до 512 токенов. Модель предназначена для перевода текстов с английского на французский. В карточке приведена скрининговая оценка на 48 предложениях FLORES-200: chrF++ 66,23 и BLEU 45,65; это небольшой тестовый набор, а не результат публикационного исследования. Репозиторий содержит сборку Transformers в формате safetensors. Лицензия — Apache-2.0.

WindyTranslate/translate-en-nl — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с английского на нидерландский. Это дообученная версия Helsinki-NLP/opus-mt-en-nl: авторы применили LoRA к параллельным текстам и объединили адаптер с базовыми весами. Модель построена на архитектуре MarianMT, содержит 59,5 млн параметров и распространяется в формате safetensors для Transformers; длина контекста — 512 токенов. Модель рассчитана на автоматический перевод текста в одном направлении — с английского на нидерландский. В тесте на 48 предложениях FLORES-200 dev указаны chrF++ 57,82 и BLEU 32,83; это скрининговая оценка, а не результат публикационного исследования. Модель распространяется по лицензии Apache-2.0.

WindyTranslate/translate-en-ro — модель машинного перевода, опубликованная Windstorm Labs для перевода текста с английского на румынский. Это дообученная версия Helsinki-NLP/opus-mt-en-ro: LoRA-дообучение на параллельных корпусах объединено с базовыми весами. Модель использует архитектуру Marian, содержит 55,7 млн параметров и доступна в формате safetensors для Transformers; длина контекста — 512 токенов. Модель предназначена для перевода с английского на румынский. В карточке приведена скрининговая оценка на 48 предложениях FLORES-200 dev: chrF++ 59,45 и BLEU 36,20; это не результат публикационного исследования. Поддерживается только одно направление перевода. Лицензия — Apache-2.0.

Windstorm Labs опубликовала модель машинного перевода с эстонского на английский на архитектуре MarianMT. Это дообученная версия Helsinki-NLP/opus-mt-et-en: LoRA-дообучение на параллельных данных объединено с базовыми весами; изменены 36 из 254 тензоров. Модель содержит 55,3 млн параметров, рассчитана на контекст до 512 токенов и распространяется в формате safetensors для Transformers. Модель предназначена для перевода текстов с эстонского на английский. В карточке приведена скрининговая оценка на 48 предложениях FLORES-200 dev: chrF++ 59,81 и BLEU 32,98; это не результат публикационного исследования и не гарантирует качество на других данных. Модель поддерживает только направление et→en. Лицензия — Apache-2.0.

WindyTranslate/translate-fi-en — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода текста с финского языка на английский. Это дообученная версия Helsinki-NLP/opus-mt-fi-en: LoRA-адаптер, обученный на параллельных данных, объединён с базовыми весами. Архитектура MarianMT, размер — 55,7 млн параметров, максимальная длина контекста — 512 токенов. Модель подходит для автоматического перевода финских сообщений и документов на английский. В проверке на 48 предложениях FLORES-200 dev она получила chrF++ 56,31 и BLEU 29,35; это предварительная оценка, а не результат публикационного исследования. Поддерживается только направление fi→en. Репозиторий содержит веса в формате safetensors и использует лицензию Apache-2.0.

WindyTranslate/translate-fi-ru — модель машинного перевода Windstorm Labs для перевода текста с финского на русский. Это дообученная версия Helsinki-NLP/opus-mt-fi-ru: к исходным весам применили LoRA дообучение на параллельном корпусе и объединили адаптер с базовыми весами. Модель использует архитектуру MarianMT, содержит 57,3 млн параметров и принимает safetensors; максимальная длина контекста — 512 токенов. Модель предназначена для перевода отдельных текстов и пакетной обработки финско-русских материалов. В карточке приведена скрининговая оценка на 48 предложениях FLORES-200: chrF++ 37,40 и BLEU 13,22; авторы относят результат к уровню «Usable» и предупреждают, что это не публикационная оценка. Поддерживается только направление с финского на русский. Лицензия — Apache-2.0.

TranslateGemma 27B IT — модель перевода от Google Translate на основе Gemma 3. Она предназначена для перевода текста между 55 языками, а также для извлечения и перевода текста с изображений. Модель принимает текст или изображение; для изображений предусмотрена обработка с разрешением 896 × 896 пикселей. Контекст составляет 2K токенов, результат — текст перевода. Репозиторий содержит веса в формате safetensors и рассчитан на использование через Transformers. Модель дообучена на параллельных данных: использовались переводы, сгенерированные Gemini, и общедоступные параллельные документы. Компактность семейства TranslateGemma рассчитана на развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Указанная лицензия — gemma; применяются условия использования Gemma. Качество может снижаться из-за пробелов и смещений в обучающих данных, неоднозначности и тонких языковых нюансов. Карточка позиционирует модель именно для перевода и не заявляет другие способности; фактическая точность перевода зависит от контекста и сложности текста.

Translate Gemma 4 Sub E4B — мультимодальная модель Google Gemma 4 E4B Instruct, дообученная автором репозитория для обычного перевода и перевода субтитров с учётом контекста предыдущих реплик. Она предназначена прежде всего для потоковой и разговорной речи: может учитывать предыдущие исходные и переведённые сегменты, стиль, сведения о говорящих, терминологию и глоссарии. Модель стремится сохранять смысл, тон, сленг, повторы, неопределённость и незавершённые фразы. Это плотная модель семейства Gemma 4 с поддержкой текста и изображений; в карточке указаны возможности диалога и vision. Переводная настройка охватывает 11 языков: английский, русский, испанский, немецкий и японский отнесены к наиболее освоенным, французский, португальский, китайский, нидерландский, итальянский и корейский — к следующей группе. Для других языков Gemma 4 качество перевода специально не оценивалось. В README приведены результаты сравнительной оценки, но они не гарантируют качество для каждого направления и сценария. Лицензия — Apache-2.0.

Translate Gemma 4 Sub E4B GGUF — мультиязычная дообученная версия Gemma 4, разработанная 17slever17. Модель предназначена для обычного перевода и контекстного перевода субтитров, в частности для потокового и разговорного контента. Она используется в open-source проекте SubWave для перевода субтитров в реальном времени. Модель поддерживает передачу предыдущих исходных и переведённых сегментов, что помогает обрабатывать фразы, разделённые между субтитрами, и сохранять смысл, тон, сленг, неуверенность, повторы, незавершённую речь и особенности разговорного стиля. Также она может учитывать инструкции о стиле, тоне, степени формальности, говорящих, терминологии и глоссариях. Основные языки — английский, русский, испанский, немецкий и японский; французский, португальский, китайский, нидерландский, итальянский и корейский поддерживаются на втором уровне. Другие языки Gemma 4 могут работать, но специально не дообучались для перевода и оценивались ограниченно. Представленная версия распространяется в формате GGUF и предназначена для запуска с llama.cpp. По данным независимого от обучения тестирования в формате Q4, E4B-вариант показал высокие результаты среди сравниваемых моделей по chrF++, BERTScore, COMET-DA и MetricX-24 Ref, хотя уступил Gemma 4 12B по COMETKiwi и MetricX-24 QE. Ограничениями являются зависимость качества от предоставленного контекста, менее изученная поддержка языков за пределами основных и отсутствие в README точных сведений о размере архитектуры и длине контекста. Лицензия — Apache-2.0.

Transync — мультиязычная модель машинного перевода на архитектуре MBart, предназначенная для локальной работы без подключения к интернету. Её можно использовать для перевода между более чем 50 языками, включая основные языки Индии, а также для пакетной обработки текстов через интерфейс командной строки. Модель поддерживает запуск на CPU и GPU. Модель построена на архитектуре MBart с кодировщиком и авторегрессионным декодировщиком; для токенизации используется SentencePiece в формате, совместимом с MBart50. В репозитории представлены веса PyTorch и safetensors. Размер модели — около 457,4 млн параметров, длина контекста — 1024 токена. Лицензия MIT разрешает использование в соответствии с её условиями. Качество зависит от языковой пары, поэтому перед применением в производственных сценариях его следует оценить на целевых текстах. Скорость и практический предел длины входа зависят от оборудования и длины текста.