I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейTaigi-Llama-2-Translator-7B — языковая модель Bohanlu для перевода между тайваньским хоккиеном и традиционным китайским или английским, а также между письменными системами хоккиена: ханцзы, POJ и Hanlo. Модель построена на базе Bohanlu/Taigi-Llama-2-7B и дообучена на 263 тысячах параллельных примеров. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 6,7 млрд параметров. Она принимает текст и генерирует текст перевода; для работы предусмотрен шаблон запроса с указанием исходного предложения и целевого языка. Контекст составляет 4096 токенов. Поддерживаются тайваньский хоккиен в трёх системах письма, традиционный китайский и английский. Модель подходит для перевода предложений и преобразования текста хоккиена между письменными системами. Лицензия CC BY-NC-SA 4.0 требует указания авторства, запрещает коммерческое использование и распространяет производные работы на тех же условиях.
WindyTranslate/translate-bg-sv — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с болгарского языка на шведский. Это дообученная версия Helsinki-NLP/opus-mt-bg-sv на параллельных текстах: LoRA-адаптер объединён с базовыми весами. Модель построена на архитектуре MarianMT, содержит 55,6 млн параметров, принимает текст и выдаёт текст; длина контекста — 512 токенов. Модель подходит для перевода болгарских текстов на шведский в приложениях и рабочих процессах перевода. В карточке приведена скрининговая оценка FLORES-200 на 48 предложениях: chrF++ 51,15 и BLEU 22,59; это ограниченная оценка, а не результат публикационного исследования. Поддерживается только направление с болгарского на шведский. Лицензия — Apache-2.0.
Windstorm Labs опубликовала компактную модель машинного перевода с каталанского на итальянский. Это дообученная версия Helsinki-NLP/opus-mt-ca-it на архитектуре MarianMT: LoRA-дообучение на параллельных текстах объединено с базовыми весами. Модель содержит 36,2 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Модель предназначена для перевода отдельных текстов с каталанского на итальянский. В проверке на 48 предложениях FLORES-200 она получила chrF++ 47,07 и BLEU 21,89; авторы характеризуют этот результат как скрининговую оценку, а не публикационный результат. Модель поддерживается Transformers и распространяется в формате safetensors. Лицензия — Apache-2.0.
Windstorm Labs опубликовала модель машинного перевода с чешского языка на финский. Это дообученная версия Helsinki-NLP/opus-mt-cs-fi: LoRA-дообучение на параллельных данных объединено с базовыми весами. Модель использует архитектуру MarianMT, содержит 55,4 млн параметров и рассчитана на контекст до 512 токенов. Модель предназначена для перевода чешских текстов на финский, в том числе при встраивании в приложения машинного перевода. В проверке на 48 предложениях FLORES-200 dev она получила chrF++ 44,32 и BLEU 13,60; авторы характеризуют результат как пригодный для использования, но отмечают, что это скрининговая оценка, а не результат публикационного исследования. Репозиторий содержит веса в формате safetensors для Transformers. Лицензия — Apache-2.0.
Windstorm Labs опубликовала модель машинного перевода с английского на чешский язык. Это дообученная версия Helsinki-NLP/opus-mt-en-cs: LoRA-дообучение на параллельных текстах объединено с базовыми весами. Модель MarianMT содержит 57,2 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Модель подходит для перевода английских фраз и документов на чешский язык. В проверке на 48 примерах FLORES-200 dev она получила chrF++ 52,42 и BLEU 27,68; авторы характеризуют результат как предварительную оценку, а не публикационный бенчмарк. Поддерживается только направление en→cs, поэтому качество на других языковых парах не заявлено. Лицензия — Apache-2.0.
WindyTranslate/translate-en-nso — модель машинного перевода от Windstorm Labs, созданная на основе Helsinki-NLP/opus-mt-en-nso. Она переводит текст с английского языка на северный сото (nso) и предназначена для перевода фраз и документов в приложениях и рабочих процессах, где нужна именно эта языковая пара. Модель использует архитектуру MarianMT, содержит 54,6 млн параметров, принимает текст и выдаёт текст; нативный контекст составляет 512 токенов. Веса изменены с помощью дообучения LoRA на параллельном корпусе с последующим слиянием адаптера с базовой моделью; в репозитории представлены веса safetensors для Transformers. В проверке на 48 предложениях FLORES-200 dev модель получила chrF++ 43,35 и BLEU 16,08; это предварительная оценка, а не опубликованный результат полноценного бенчмарка. Модель распространяется по лицензии Apache-2.0.
Windstorm Labs опубликовала компактную модель машинного перевода испанского языка на галисийский. Это дообученная версия Helsinki-NLP/opus-mt-es-gl: LoRA-адаптер обучили на параллельных текстах и объединили с базовыми весами. Модель построена на архитектуре Marian, содержит 28,1 млн параметров и доступна в формате safetensors для Transformers; контекст — до 512 токенов. Модель предназначена для перевода текстов с испанского на галисийский. В проверке на 48 предложениях FLORES-200 dev она получила chrF++ 50,20 и BLEU 22,02; это скрининговая оценка, а не результат публикационного исследования. Модель поддерживает только одно направление перевода. Распространяется по лицензии Apache-2.0 с указанием происхождения от Helsinki-NLP/opus-mt-es-gl.
WindyTranslate/translate-fi-ro — модель машинного перевода, опубликованная Windstorm Labs и дообученная на параллельных данных для перевода с финского на румынский. Она основана на Helsinki-NLP/opus-mt-fi-ro: LoRA-дообучение объединено с базовыми весами. Модель использует архитектуру MarianMT, содержит 55,4 млн параметров и принимает текст; для работы доступны веса в формате safetensors и библиотека Transformers. Контекст модели — до 512 токенов. Модель предназначена для перевода текстов с финского на румынский. В карточке приведена скрининговая оценка на 48 предложениях FLORES-200 dev: chrF++ 46,34 и BLEU 21,08. Оценка ограничена малой выборкой и не является результатом публикационного исследования. Модель поддерживает только одно направление перевода. Лицензия — Apache-2.0.
WindyTranslate/translate-fr-el — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода текста с французского языка на греческий. Она основана на Helsinki-NLP/opus-mt-fr-el: к исходным весам применено дообучение LoRA на параллельных данных, после чего адаптер объединён с базовой моделью. Архитектура — MarianMT, размер — 56,3 млн параметров; модель принимает текст и выдаёт текст, максимальный контекст составляет 512 токенов. Для первичной оценки качества в карточке приведены результаты на 48 предложениях набора FLORES-200 dev: chrF++ 47,53 и BLEU 24,64. Это скрининговая оценка, а не результат публикационного исследования. Модель поддерживает только направление перевода с французского на греческий; качество на конкретных текстах может отличаться от результата на этом небольшом наборе. Распространяется по лицензии Apache-2.0.
Windstorm Labs опубликовала компактную модель машинного перевода с французского на индонезийский. Это дообученная версия Helsinki-NLP/opus-mt-fr-id: LoRA-адаптер обучили на параллельных текстах и объединили с базовыми весами. Модель построена на архитектуре Marian, содержит 54,3 млн параметров и доступна в формате safetensors для Transformers; контекст составляет 512 токенов. Модель предназначена для перевода текстов с французского языка на индонезийский. В карточке приведена предварительная оценка на 48 предложениях FLORES-200: chrF++ 51,16 и BLEU 22,52. Это небольшая проверочная выборка, поэтому результат не следует считать публикационной оценкой качества. Лицензия — Apache-2.0.
NikolayKozloff/translategemma-12b-it-Q5_K_M-GGUF — это 12-миллиардная instruction-tuned модель Google TranslateGemma, преобразованная из google/translategemma-12b-it в формат GGUF с квантизацией Q5_K_M. Репозиторий подготовил NikolayKozloff с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена прежде всего для задач перевода и может запускаться локально через llama.cpp в CLI- или серверном режиме. Формат GGUF обеспечивает совместимость с экосистемой llama.cpp и позволяет использовать модель на различных конфигурациях оборудования, включая CPU и GPU при соответствующей сборке. В README также указан пример запуска с контекстом 2048 токенов, однако точный максимальный размер контекста, поддерживаемые языки и дополнительные характеристики исходной модели здесь не описаны. К сильным сторонам относятся локальный запуск, широкая совместимость с llama.cpp и уменьшенный объём хранения благодаря квантизации Q5_K_M. Ограничения связаны с потерями точности, возможными для квантизированной версии, а также с отсутствием в представленном README подробных сведений о качестве перевода, модальностях и требованиях к ресурсам. Для использования требуется принять лицензию Google Gemma; условия исходной модели применяются к этой конвертированной версии.
mlx-community/translategemma-27b-it-bf16 — конвертированная в формат MLX модель Google Translate на базе Gemma 3, подготовленная сообществом mlx-community из google/translategemma-27b-it. Это плотная модель с архитектурой Gemma3ForConditionalGeneration и 27 млрд параметров, предназначенная для перевода текста между 55 языками; базовая модель также поддерживает перевод текста на изображениях. Для работы требуется специальный шаблон перевода из карточки исходной модели. Репозиторий содержит веса safetensors в формате MLX; лицензия — Gemma.
bRadu преобразовал TranslateGemma 4B IT в текстовую модель без поддержки изображений. Это плотная причинно-языковая модель Gemma 3 (`Gemma3ForCausalLM`), содержащая около 4 млрд параметров и сохранённая в FP16 в формате safetensors. Веса извлечены из языкового компонента `google/translategemma-4b-it`, а компоненты обработки изображений удалены; для токенизатора используется `google/gemma-3-1b-it`. Модель предназначена прежде всего для перевода текста между языками в формате диалога TranslateGemma, а также для текстовой генерации и локального или серверного запуска, когда обработка изображений не требуется. Контекст составляет до 131 072 токенов; метаданные отмечают поддержку многих языков, но конкретный список языков для этой версии не приведён. Лицензия указана как `other`, поэтому условия использования следует сверить с лицензией репозитория и базовой модели.
Модель unicamp-dl/translation-pt-en-t5 — модель семейства T5 для перевода с португальского на английский, опубликованная командой Unicamp-DL. Она предназначена для машинного перевода текста и запускается через Transformers; перед текстом требуется указать задачу специальным префиксом для T5. В README упомянуты изменения токенизатора и постобработки, призванные улучшить результат, а также использование предварительно обученной португалоязычной модели. Модель содержит 123,8 млн параметров, использует архитектуру T5ForConditionalGeneration и имеет контекст до 512 токенов. Репозиторий содержит веса PyTorch. В карточке упоминается статья и отдельный репозиторий с дополнительной информацией, но их содержание здесь не приведено. Лицензия в предоставленных данных не указана.
VietAI/vit5-base — предварительно обученная модель семейства T5, разработанная VietAI для работы с вьетнамским языком. Это Transformer-архитектура типа encoder-decoder с 126,8 млн параметров и контекстом до 512 токенов; доступны версии весов для PyTorch, TensorFlow и Flax. Модель предназначена для генерации текста по текстовому входу и может применяться к ответам на вопросы, суммаризации и переводу на вьетнамском языке. Для запуска доступны токенизатор и модель в библиотеке Transformers. Модель выпущена по лицензии MIT.
Модель allenai/wmt16-en-de-dist-12-1 — портированная в Transformers версия модели машинного перевода на базе Transformer, первоначально выпущенной AllenAI и обученной для перевода с английского на немецкий. Это вариант семейства FSMT с глубоким энкодером и неглубоким декодером; в нём 50,3 млн параметров, он принимает текст и генерирует перевод. Модель предназначена для перевода предложений и текстов с английского на немецкий. В карточке приведён результат 27,52 BLEU при оценке SacreBLEU на детокенизированных выводах; показатель немного ниже результата исходной оценки из-за различий в методике. Модель распространяется по лицензии Apache-2.0.
WMT 21 En-X — мультиязычная модель машинного перевода, разработанная Facebook и впервые представленная в исследовательской работе. Это архитектура encoder-decoder семейства M2M100, обученная переводить с английского на семь языков: хауса, исландский, японский, чешский, русский, китайский и немецкий. По README размер модели составляет 4,7 млрд параметров, а метаданные каталога указывают 1,9 млрд параметров; поэтому точный размер по доступным сведениям расходится. Метаданные указывают контекст 1024 токена и формат PyTorch. Модель предназначена для прямого перевода англоязычных текстов, включая новостные материалы и тексты других тематик. Для выбора языка перевода при генерации нужно задать целевой языковой токен как первый токен; README также рекомендует добавлять к входу доменный тег `wmtdata newsdomain` или `wmtdata otherdomain`. Репозиторий распространяется по лицензии MIT. Модель специализируется на переводе с английского и не заявляет перевод между остальными языками без английского как исходного. В README отдельно отмечена зависимость токенизатора M2M100 от SentencePiece.
WMT 21 X-En — мультиязычная модель перевода, разработанная Facebook и впервые опубликованная в этом репозитории. Это encoder-decoder модель семейства M2M100 для перевода текстов с хауса, исландского, японского, чешского, русского, китайского и немецкого на английский. В README указан размер 4,7 млрд параметров; метаданные каталога указывают 1,9 млрд параметров, поэтому размер приведён противоречиво. Модель рассчитана на перевод новостных текстов и текстов других тематик; для этих сценариев во входе следует задавать соответствующий доменный тег. Целевой язык задаётся первым генерируемым токеном. Метаданные указывают контекст 1024 токена и формат PyTorch. Лицензия — MIT. Модель переводит только в английский; для токенизатора M2M100 требуется SentencePiece.
YanoljaNEXT-Rosetta-27B-2511-GGUF — GGUF-версия 27-миллиардной декодерной языковой модели, разработанной Yanolja NEXT на базе google/gemma-3-27b-pt. Для текстовой генерации из исходной архитектуры используется компонент Gemma3ForCausalLM; расширенный токенизатор, применявшийся в некоторых предыдущих моделях EEVE, отсутствует. Модель предназначена прежде всего для многоязычного перевода структурированных данных в форматах JSON, YAML и XML с сохранением исходной структуры и ключей. Она подходит для локализации каталогов товаров, перевода отзывов об отелях и обработки других структурированных текстов, а также может выполнять обычный перевод в виде простого текста. Обучение проводилось на синтетических многоязычных данных, созданных на основе FineWeb Edu и FineWeb2. Поддерживаются арабский, болгарский, китайский, чешский, датский, нидерландский, английский, финский, французский, немецкий, греческий, гуджарати, иврит, хинди, венгерский, индонезийский, итальянский, японский, корейский, персидский, польский, португальский, румынский, русский, словацкий, испанский, шведский, тагальский, тайский, турецкий, украинский и вьетнамский языки. Поставляется в различных квантованных вариантах GGUF для запуска через llama.cpp и совместимые графические интерфейсы. Варианты с активационной матрицей IMX могут обеспечивать более высокое качество при сопоставимом размере. Сильными сторонами являются специализация на сохранении структуры при переводе и конкурентное качество: для перевода с английского на корейский модель получила CHrF++ 37,21 на WMT24++. Ограничения включают ориентацию главным образом на структурированные данные; размер контекста в README не указан, а качество для других языковых пар и нестандартных сценариев может отличаться. Лицензия указана как gemma.
YanoljaNEXT-Rosetta-4B-2511 — языковая модель на 4 млрд параметров, разработанная Yanolja NEXT и дообученная на базе google/gemma-3-4b-pt. Это декодерная модель семейства Gemma 3, использующая компонент Gemma3ForCausalLM и предназначенная для генерации текста и перевода структурированных данных с сохранением исходного формата. Модель подходит для локализации каталогов товаров, перевода отзывов об отелях и обработки других данных в форматах JSON, YAML и XML. Обучение проводилось на синтетических многоязычных переводах, созданных на основе FineWeb Edu и FineWeb2. Заявлена поддержка 32 языков; контекст составляет до 131 072 токенов. В тесте WMT24++ для перевода с английского на корейский модель получила CHrF++ 35,64. Модель оптимизирована для структурированных данных; качество на обычном тексте и других форматах может быть ниже. Возможны некорректный JSON, повторы и ошибки перевода. Лицензия — Gemma.
AIN (aAIN) — модель перевода текста, разработанная в рамках проекта aAIN для перевода между английским и игбо. Она предназначена для отдельного использования и как переводной компонент конвейера преобразования речи в речь для английского, йоруба, хауса и игбо. Модель представляет собой дообученную версию facebook/nllb-200-distilled-600M с архитектурой M2M100ForConditionalGeneration; содержит 463,7 млн параметров и поддерживает контекст до 1024 токенов. Дообучение проведено на 27 097 парах предложений на английском и игбо, извлечённых и очищенных из двуязычного словаря. В карточке указана оценка BLEU 26,86: перевод обычно связный, но его качество не гарантируется для каждого предложения. Словарные данные могут приводить к формальному или буквальному стилю, а некоторые разговорные выражения модель иногда оставляет без перевода. Модель не синтезирует речь. Лицензия — Apache-2.0.
NAMAA Community представила эту модель для AlexandriaX-2026: она переводит контекстные диалоги с английского на один из 13 вариантов разговорного арабского языка. Это полное дообучение encoder-decoder модели T5 AraT5v2-base-1024; в карточке указано 183,7 млн параметров, а README приводит оценку около 368 млн. Целевой диалект задаётся текстовым префиксом на естественном языке. Модель предназначена для перевода реплик с учётом контекста диалога. По заявлению авторов, это была сильнейшая из пяти небольших моделей команды в ограниченном треке; в ансамбле она дала лучший результат для мавританского и оманского диалектов. Используйте токенизатор из репозитория: README сообщает о проблеме медленного токенизатора T5 в Transformers 5.x. Модель распространяется по лицензии Apache-2.0.
webbigdata/ALMA-7B-Ja — языковая модель для машинного перевода, созданная webbigdata на основе метода обучения ALMA. Модель построена на плотной архитектуре Llama и содержит 6,6 млрд параметров; указанное окно контекста — 4096 токенов. Основное назначение — перевод между японским и английским языками в обоих направлениях. В README также отмечена проверенная способность переводить между английским и немецким, китайским, исландским и чешским языками, однако для этих языковых пар автор рекомендует оригинальную ALMA-13B. Метод ALMA включает дообучение на одном языковом корпусе с последующей оптимизацией на качественных параллельных данных. Репозиторий содержит веса PyTorch и Safetensors. Лицензия в предоставленных сведениях не указана.
ALMA-7B-Ja-V2 — языковая модель для машинного перевода, разработанная webbigdata. Она предназначена прежде всего для перевода с японского на английский и с английского на японский; также поддерживает перевод между английским и немецким, китайским, исландским и чешским языками. Модель основана на плотной архитектуре LlamaForCausalLM, содержит 6,6 млрд параметров и имеет контекст 4096 токенов. В карточке приведены результаты оценки BLEU, chrF++ и COMET, включая сравнение с предыдущей версией и NLLB-200. Модель принимает текст и генерирует текст перевода. Лицензия — Llama 2. В README отмечено, что качество зависит от направления и жанра: например, результаты для классической литературы ниже, чем для ряда современных текстов. Авторы указывают, что ALMA-7B-Ja-V2 улучшает предыдущую версию, но это не гарантирует точность перевода для каждого текста.
Aleton/be-en-translator — модель машинного перевода, разработанная на основе Helsinki-NLP/opus-mt-mul-en и дообученная для перевода с белорусского на английский. Она использует архитектуру MarianMT и обучена на белорусско-английской части набора OPUS-100 с библиотекой Transformers. Модель предназначена для быстрого перевода коротких и средних по длине предложений с белорусского языка на английский. Контекст составляет 512 токенов. Веса опубликованы в формате safetensors; лицензия в предоставленных данных не указана.
Rohith04/ct2fast_m2m100_418M — квантованная 8-битная версия многоязычной модели M2M100 на 418 млн параметров от Facebook AI, подготовленная для быстрого инференса с CTranslate2. Она предназначена для машинного перевода между 100 языками и может применяться в приложениях и сервисах, где важны скорость и уменьшенный размер модели. Репозиторий создан 19 января 2024 года; в метаданных Hugging Face указана лицензия MIT. README заявляет поддержку 100 языков, включая русский и английский.
michaelfeil/ct2fast-opus-mt-en-es — это версия модели машинного перевода OPUS-MT для перевода с английского на испанский, преобразованная для ускоренного инференса с CTranslate2. Модель использует архитектуру Transformer; исходная модель относится к проекту Tatoeba-Challenge. Для предобработки применяются нормализация текста и SentencePiece с моделями токенизации spm32k для обоих языков. Модель предназначена для перевода английских текстов на испанский в приложениях и пакетной обработке. В README заявлено ускорение инференса в 2–8 раз при использовании INT8 в C++, а также приведены результаты на тестовых наборах новостных переводов. Репозиторий распространяется по лицензии Apache-2.0. Данные не сообщают размер модели или длину контекста.
Egyptian Arabic Translator Llama-3 8B — дообученная модель Ahmed Samirio на базе Meta Llama 3 8B, предназначенная для перевода с английского на египетский арабский. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и формат PyTorch; длина контекста — 8192 токена. Модель подходит для перевода англоязычных инструкций и текстов, включая наборы данных для дообучения инструкциям и генерации текста. Она обучена на ahmedsamirio/oasst2-9k-translation; сведений о результатах оценки качества в карточке нет. Лицензия — Llama 3.
«Фасих» — модель машинного перевода, разработанная Baleegh и дообученная на основе facebook/nllb-200-distilled-600M. Она переводит текст на классический арабский язык, стремясь избегать кальки и лексики, характерных для современной переводной арабской речи. Модель основана на архитектуре M2M100, содержит около 463,7 млн параметров, работает с текстом и имеет контекст до 1024 токенов. В репозитории указаны веса в формате safetensors и лицензия MIT. Модель предназначена для перевода на литературный классический арабский. В README описаны обучающие данные на арабском языке, собранные в том числе из библиотеки Shamela, а также ограничения оценки качества: часть языковых пар вне направления английский—арабский получена через Google Translate, а используемые метрики и автоматическая проверка классического стиля несовершенны. Поэтому качество перевода может зависеть от исходной пары и требует проверки человеком.
gemma-2-2b-jpn-it-translate — модель перевода, созданная webbigdata дообучением google/gemma-2-2b-jpn-it. Она предназначена прежде всего для перевода между японским и английским языками и обучена выдавать перевод пользовательского текста после начальной инструкции на японском или английском. Модель использует архитектуру Gemma 2 с плотной причинно-языковой структурой, содержит 2,7 млрд параметров и поддерживает контекст до 8192 токенов. Формат весов — Safetensors; карточка указывает на использование apply_chat_template. Разработчик ориентировал модель на быстрый перевод и сообщает о результатах, приближающихся в отдельных областях к более крупной модели. В опубликованной карточке приведены метрики spBLEU, chrF2++ и COMET для тестов перевода. Модель обучалась переводить по предложениям, поэтому перед обработкой длинного текста с переносами строк его следует предварительно разбивать на предложения: подача такого текста целиком может снизить качество. Лицензия в предоставленных данных не указана.