I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейWindyTranslate/translate-fiu-en — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная и объединённая с базовыми весами версия Helsinki-NLP/opus-mt-fiu-en на архитектуре Marian; в репозитории находятся веса в формате safetensors, а размер модели составляет 55,3 млн параметров. Модель переводит с финно-угорских языков на английский, используя текстовый ввод и выдавая текстовый перевод. Максимальная длина контекста — 512 токенов. Модель предназначена для перевода текстов в направлении fiu → en. Её веса изменены с помощью LoRA-дообучения на параллельном корпусе и слиты с базовой моделью. Качество этой версии ещё не оценивалось бенчмарками, поэтому точность перевода не подтверждена. Поддерживается только указанное направление перевода. Лицензия — Apache-2.0.
WindyTranslate/translate-fi-ve — модель машинного перевода, опубликованная Windstorm Labs и основанная на Helsinki-NLP/opus-mt-fi-ve. Это дообученная MarianMT-модель с 54,3 млн параметров: LoRA-дообучение на параллельном корпусе было объединено с базовыми весами. Модель принимает текст на финском языке и переводит его на язык венда; направление перевода одно, fi → ve. Максимальная длина контекста составляет 512 токенов. Модель подходит для перевода финских текстов на венда в приложениях на базе Transformers. Качество перевода пока не оценивалось бенчмарками, поэтому пригодность для конкретного сценария следует проверять отдельно. Распространяется по лицензии Apache-2.0.
Windstorm Labs публикует модель машинного перевода с французского языка на илоканский. Это дообученная версия Helsinki-NLP/opus-mt-fr-ilo: LoRA-адаптер обучили на параллельном корпусе и объединили с базовыми весами. Модель построена на MarianMT, содержит 55,9 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Модель предназначена для перевода отдельных текстов с французского на илоканский; обратное направление карточкой не заявлено. В проверке на 48 предложениях FLORES-200 она получила chrF++ 42,22 и BLEU 13,76; это предварительная оценка, а не результат полноценного исследования. Репозиторий содержит веса в формате safetensors для Transformers. Лицензия — Apache-2.0.
gshields/translate_model_error_v0.3 — дообученная модель MarianMT на основе Helsinki-NLP/opus-mt-en-hi для перевода текста с английского языка на хинди. Модель содержит 56,9 млн параметров, использует PyTorch и рассчитана на контекст до 512 токенов. В README указаны результаты оценки: BLEU 26,63 и loss 3,0375. Данные обучения и подробности о предполагаемых сценариях применения не раскрыты. Модель распространяется по лицензии Apache-2.0.
Модель samandar1105/translation-eng-kr — дообученная версия Helsinki-NLP/opus-mt-tc-big-en-ko для перевода текста с английского на корейский. Она использует архитектуру Marian transformer-big и предназначена для задач машинного перевода. Контекст модели — до 1024 токенов; веса опубликованы в формате safetensors. В карточке приведены результаты оценки: BLEU 6,226 и loss 3,0721, однако набор данных и методика оценки не описаны. Модель распространяется по лицензии CC BY 4.0.
Translation-GPT — дообученная Dhahlan2000 модель Google mT5-small с 157,4 млн параметров, предназначенная для перевода текста. Она построена на архитектуре MT5ForConditionalGeneration и опубликована в формате TensorFlow под лицензией Apache-2.0. В карточке указаны потери на обучающей и проверочной выборках, но набор данных, языковые пары и качество перевода не описаны. Поэтому область применения и поддерживаемые языки нельзя определить точнее.
Модель MohammadGholizadeh/whisper-large-v3-persian-common-voice-17 — дообученная версия Whisper Large v3 от OpenAI для распознавания персидской (фарси) речи и преобразования аудио в текст. Она обучена на более чем 250 тысячах аудиозаписей Common Voice 17 и предназначена для транскрибации персидской речи, в том числе с обработкой аудио фрагментами до 30 секунд через Transformers pipeline. По данным карточки, увеличение обучающей выборки по сравнению с Common Voice 11 улучшило Word Error Rate и устойчивость распознавания. Модель не возвращает временные метки: попытка запросить их может вызвать ошибку. Для длинных записей в примере предлагается разбивать аудио на фрагменты. Лицензия — Apache-2.0.
AfriqueGemma-4B — базовая причинно-языковая модель из семейства AfriqueLLM, разработанная для улучшения работы с африканскими языками. Она основана на google/gemma-3-4b-pt и продолжительно предварительно обучена примерно на 26 млрд токенов сбалансированных многоязычных данных. Модель содержит 4 млрд параметров и имеет контекст 8 192 токена. Модель предназначена для генерации текста и диалоговых сценариев на 20 африканских языках; также в обучении использовались английский, французский, португальский и арабский для сохранения навыков в языках с большим объёмом ресурсов. Данные включали монолингвальные тексты, код, математику и синтетические переводы по тематическим областям. Карточка приводит результаты многоязычных тестов и сообщает об улучшении совокупного показателя относительно Gemma 3 4B. Модель доступна в формате safetensors для Transformers; для развёртывания README предлагает vLLM или SGLang. Лицензия — CC BY 4.0. Это базовая предварительно обученная модель, поэтому её не следует считать готовой к инструкционному следованию без дополнительной настройки; результаты и поддержка могут различаться между языками.
alexmt-gemma4-e4b-dpo-bwspbleu-lr5e6 — дообученная методом DPO модель на базе google/gemma-4-E4B-it, созданная для контекстного перевода разговорных реплик между английским и девятью разновидностями диалектного арабского языка. Обучение предпочтений проведено на данных Alexandria с настройками beta 0,1, learning rate 5e-6 и тремя эпохами; в качестве контекста примера используются до трёх предыдущих реплик, а также сведения о домене, участниках и направлении гендерного обращения. Модель принимает сообщение в JSON-формате Alexandria и выдаёт перевод в поле translation. В описанном тестировании использовались жадное декодирование и ограничение в 128 новых токенов; приведены метрики spBLEU и chrF++, но точность передачи диалектных особенностей отдельно не оценивалась. Результаты получены с одним случайным seed и одним разбиением данных, а выбор learning rate проводился на тестовой выборке, поэтому небольшие различия между вариантами DPO не подтверждены. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, допускающей некоммерческое использование.
BananaMind-Translate-V3.5-Pro-i1-GGUF — квантизированная версия модели BananaMind-Translate-V3.5-Pro, разработанной Banaxi-Tech и подготовленной в формате GGUF пользователем mradermacher. Модель предназначена прежде всего для машинного перевода между английским и немецким языками. В метаданных она также обозначена как дообученная с применением QLoRA и относящаяся к семейству Gemma; точные параметры архитектуры и размер исходной модели в README не приведены. Модель является мультимодальной vision-моделью, поэтому может поддерживать обработку визуальных входов при наличии соответствующего файла mmproj, однако подробности о реализованных визуальных сценариях не указаны. Репозиторий предлагает множество вариантов квантизации, различающихся размером, скоростью и качеством; среди рекомендованных отмечен i1-Q4_K_M. Основное ограничение — отсутствие сведений о контекстном окне, производительности, качестве перевода и поддерживаемых языках за пределами English и German. Лицензия — Apache-2.0.
BowLingual-E4B-v1.5 — дообученная модель Gemma 4 E4B от автора stenml, предназначенная для перевода с английского на разговорный тайский. Она ориентирована на естественные формулировки в неформальной переписке, например в LINE и Messenger, а не на буквальный или учебниковый перевод. Модель основана на unsloth/gemma-4-E4B-it и дообучена методом SFT с BF16 LoRA; обучаемая часть содержит около 36,7 млн параметров. В финальный набор вошли 17 437 дедуплицированных примеров из курируемого набора BowLingual и отобранных данных Wisesight и SCB-MT. В метаданных указаны архитектура Gemma 4 и формат safetensors; базовая модель мультимодальная, однако эта версия предназначена для текстового перевода. Модель подходит для локализации коротких сообщений и неформальных диалогов с английского на тайский. Она не оптимизирована для юридического, медицинского, технического и другого формального перевода. При использовании и распространении данных обучения следует учитывать условия исходных наборов, включая CC BY-SA 4.0 для SCB-MT-EN-TH-2020.
Модель BangorAI/cyfieithydd-7b-fersiwn-2 — языковая модель на архитектуре Mistral с 7,1 млрд параметров, дообученная на записях заседаний валлийского парламента Cofnod y Cynulliad, предоставленных TechIaith. Она предназначена прежде всего для перевода между английским и валлийским языками и генерации текста на этих языках в парламентском контексте. Карточка указывает на базовую модель BangorAI/mistral-7b-cy-epoch-2, которая прошла продолжительное обучение на валлийском языке. Модель использует формат PyTorch, поддерживает контекст до 32 768 токенов и опубликована по лицензии Apache-2.0. В README рекомендовано подавать текст небольшими отрывками, например по одному-два абзаца; там также описано обучающее окно контекста в 4K токенов для исходной модели Mistral-7B-v-0.1, что может ограничивать практическую длину входа.
Dhee-Vagmi-Core v4 — модель машинного перевода компании DheeYantra, обученная с нуля на архитектуре M2M100. Модель содержит около 301 млн параметров и предназначена для перевода предложений и коротких фрагментов между 20 языками: английским, 11 индийскими и 8 другими мировыми языками. Поддерживаются все 380 направлений перевода; заявленные языки включают ассамский, бенгальский, гуджарати, хинди, каннада, малаялам, маратхи, ория, панджаби, тамильский, телугу, английский, арабский, немецкий, испанский, французский, японский, китайский, португальский и русский. Модель создана для локального перевода на мобильных устройствах и задумана как замена NLLB-200-distilled-600M в коммерческом продукте VAGMI. Архитектура с глубоким энкодером и неглубоким декодером рассчитана на низкую задержку; README описывает экспорт в INT8 ONNX для onnxruntime-mobile. Версия обучена на параллельных данных, включая явные пары индийских языков, и сообщает усреднённую chrF++ 53,49 по 380 направлениям. Модель не является универсальной языковой моделью и не предназначена для суммаризации документов; её область применения — перевод предложений и коротких текстов. Качество различается между направлениями, поэтому для конкретной языковой пары его следует оценивать отдельно. Лицензия Apache-2.0.
FuguMT — модель машинного перевода с японского на английский, созданная автором репозитория staka на архитектуре Marian-NMT. Она предназначена для перевода текстов с японского языка на английский и работает через Transformers и SentencePiece. Модель содержит 41,6 млн параметров, поддерживает контекст до 512 токенов и распространяется в формате PyTorch. В README приведён результат BLEU 39,1 на 500 случайно выбранных предложениях из набора Tatoeba. Лицензия — CC BY-SA 4.0.
Polyglot Air — специализированная дообученная модель CalmState на базе Gemma 3 4B, настроенная для сценариев настольного приложения Polyglot Air. Она выполняет преобразование короткого выделенного текста по команде в суффиксе: например, переводит текст на английский или португальский, включая вариант для Бразилии. Модель предназначена для лаконичного выполнения таких команд без вводных фраз и лишнего диалога. Поддерживает текстовый диалог и обработку изображений согласно метаданным; карточка описывает рабочий процесс перевода текста. Модель распространяется под лицензией Apache-2.0.
Gugugo-koen-7B-V1.1 — языковая модель семейства Llama, разработанная squarelike и дообученная на наборе sharegpt_deepl_ko_translation для перевода между корейским и английским языками. Для перевода используются отдельные шаблоны запросов KO→EN и EN→KO. Модель основана на Llama-2-ko-7b, содержит 6,7 млрд параметров и рассчитана на контекст до 2048 токенов. В репозитории представлены веса PyTorch и Safetensors; README также сообщает о поддержке GPTQ, AWQ и GGUF. Модель подходит для перевода предложений и текстовых фрагментов между корейским и английским. Лицензия — Apache-2.0. Карточка сообщает об обучении на одной GPU A6000 в течение 90 часов; качество на иных языковых парах, длинных текстах и специализированных тематиках не описано.
Модель Ankit Lakra для машинного перевода с хинди на язык курукх (ораон). Она основана на архитектуре Google mT5-small и содержит 157,4 млн параметров; модель дообучена для преобразования текста, а перевод выполняется между текстами на письме деванагари. Для обучения использованы параллельные предложения из литературы, государственных лексиконов и материалов, подготовленных сообществом. Модель предназначена для перевода повседневных фраз и предложений с хинди на курукх; лицензия Apache-2.0. Она ориентируется преимущественно на стандартный диалект Джаркханда. Региональные варианты курукха и техническая лексика могут обрабатываться хуже.
Huihui-HY-MT1.5-1.8B-abliterated — версия Tencent HY-MT1.5-1.8B, изменённая автором huihui-ai методом abliteration для снижения отказов модели. Это плотная авторегрессионная модель семейства HunYuan с 1,8 млрд параметров, предназначенная прежде всего для перевода, а также для диалогов вместе с переводом. Заявленный контекст — до 262 144 токенов; модель распространяется в формате safetensors и работает через Transformers. Модель рассчитана на многоязычную работу: метаданные перечисляют 33 языка, включая китайский, английский, русский, японский, арабский и другие. Исходная HY-MT1.5 поддерживает перевод между языками, работу с терминологией и форматированным выводом. Автор описывает эту версию как экспериментальную проверку метода снятия отказов и предупреждает о повышенном риске чувствительных, спорных или неподходящих ответов. Для одного лишь перевода автор рекомендует исходную модель Tencent. Лицензия в предоставленных данных не указана.
Kord Translate MBART50 EN↔TH V2 — модель машинного перевода KordAI, разработанная Naphon Jangjit, Jeerawat Komsang и Kord C. Boran. Это полностью дообученная модель семейства mBART-50 с архитектурой Transformer encoder-decoder, основанная на facebook/mbart-large-50-many-to-many-mmt. Она переводит текст между английским и тайским языками в обоих направлениях и предназначена для общего перевода, а также исследований и сравнительной оценки перевода для языковой пары с ограниченными ресурсами. Модель обучена примерно на 8 000 дистиллированных пар переводов, созданных DeepSeek-V4-Flash; в обучении использовались только готовые переводы, без цепочек рассуждений учителя. По описанию авторов, на FLORES devtest она показывает конкурентные результаты по BLEU и COMET, особенно для перевода с тайского на английский. Контекст составляет 1 024 токена, модель работает с текстом и распространяется под лицензией MIT. Небольшой объём обучающих данных ограничивает охват тем и стилей: качество может снижаться на узкоспециализированных и разговорных текстах. В направлении с английского на тайский модель уступает по chrF++ и BERTScore; приведённые авторами примеры также показывают, что качество перевода может быть неравномерным.
keithtwesigye/lunyoro-nllb-en2lun — модель перевода, созданная дообучением NLLB-200 на параллельных данных английского и луньоро-руторо. Базовая модель — facebook/nllb-200-distilled-600M; использованы около 53 948 пар предложений, включая краудсорсинговые материалы, словарные записи и корпуса с обратным переводом и фильтрацией качества. Модель содержит около 463,7 млн параметров, использует архитектуру M2M100ForConditionalGeneration и рассчитана на контекст до 1024 токенов. Основной сценарий — перевод текста с английского на луньоро/руторо, язык банту, распространённый в западной Уганде. Для входного и целевого языков в README приведены коды eng_Latn и run_Latn. Репозиторий содержит веса в форматах ONNX и safetensors. Лицензия — MIT. Карточка описывает узкое направление перевода; качество на текстах и тематиках, отличающихся от обучающих данных, отдельно не подтверждено.
MADLAD-400-3B-MT — многоязычная модель машинного перевода семейства T5, опубликованная в репозитории Google и основанная на архитектуре T5. В метаданных указан размер 731,9 млн параметров; модель доступна в форматах Safetensors и GGUF и рассчитана на контекст до 512 токенов. Карточка сообщает об обучении на корпусе MADLAD-400 и параллельных данных для 157 языков; охват модели заявлен как более 400 языков. Модель предназначена прежде всего для перевода между языками и многоязычных NLP-сценариев, в том числе для работы с языками, недостаточно представленными в крупных корпусах. Её можно применять для перевода коротких текстов и в качестве основы для экспериментов с машинным переводом; качество, по данным карточки, зависит от языка и, вероятно, от предметной области. Модель обучена на общедоступных веб-данных, поэтому возможны низкое качество или проблемные результаты для отдельных языков и тематик. Она не предназначена для специализированных областей без адаптации, а её пригодность для производственных сценариев не оценивалась. Лицензия — Apache 2.0.
Карточка модели juithealien/manga109-segmentation-bubble на Hugging Face совпадает с карточкой huyvux3005/manga109-segmentation-bubble, поэтому описание составлено по ней. MangaLens — модель компьютерного зрения, созданная автором репозитория huyvux3005 и дообученная на базе YOLO11n для поиска и сегментации речевых пузырей в изображениях манги и комиксов. Она использует архитектуру YOLO11n Nano и библиотеку Ultralytics, принимает RGB-изображения и выдаёт рамки объектов и маски экземпляров для одного класса — речевого пузыря. Модель предназначена для подготовки страниц манги к извлечению и переводу текста, анализа расположения диалогов, разметки наборов данных и создания функций доступности, например озвучивания текста. В README приведены результаты оценки на 44-й эпохе: mAP@50 99,10% для рамок и 99,13% для масок; заявленная скорость составляет около 15–25 мс на изображение на T4, 8–12 мс на V100 и 200–400 мс на CPU. Эти показатели приведены автором и не описывают независимую проверку. Обучение проводилось на MS92/MangaSegmentation и Manga109. Основная специализация — речевые пузыри в манге, поэтому качество на других типах изображений и графических элементов может быть ниже. Репозиторий указывает лицензию Apache-2.0.
Meta-Llama-3.1-8B-Instruct-English-to-French — дообученная разработчиком muzammil-eds плотная авторегрессионная языковая модель семейства Llama 3.1 с архитектурой LlamaForCausalLM. Она создана на основе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit и содержит около 7,5 млрд параметров; модель распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для генерации текста в диалоговом формате и, судя по названию, для преобразования текста с английского на французский. Её можно применять для перевода фраз, предложений и коротких текстов, задавая запрос в чате. В метаданных указан контекст до 131 072 токенов, однако отдельные результаты для перевода и качество на длинных текстах не приведены. Карточка сообщает о дообучении с использованием Unsloth и TRL, но не описывает обучающие данные, методику оценки или конкретные ограничения. Поддержка английского указана в метаданных; французский следует из назначения модели в названии, но явно в языковых тегах не отмечен.
Oyunbat26/mongolian-en-mn-translator — дообученная модель на архитектуре M2M100, созданная на базе facebook/nllb-200-distilled-600M для перевода с английского на халха-монгольский язык. Она специализируется на терминологии прав человека и юридических документов, поэтому подходит для перевода соответствующих отчётов и материалов. Обучение проводилось на примерно 4 000 профессионально переведённых пар предложений из таких документов; в тестировании указаны BLEU 17,56 и chrF 47,39. Модель принимает текст и выдаёт текст, поддерживает контекст длиной 1 024 токена. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
Flaglab/nllb-1.3B-wayuunaiki-esp-backtranslation — модель машинного перевода, разработанная FLAG Lab при Universidad de los Andes. Она дообучена на основе facebook/nllb-200-1.3B для двунаправленного перевода между испанским и ваюунаики — языком народа ваюу в Колумбии и Венесуэле. В обучении использован вариант корпуса без словаря с обратным переводом на основе монолингвальных данных на ваюунаики; токенизатор NLLB SentencePiece расширен пользовательским словарём ваюунаики. Модель предназначена для перевода текстов с испанского на ваюунаики и обратно, в том числе для низкоресурсных языковых сценариев. Архитектура — M2M100ForConditionalGeneration, размер — 666,5 млн параметров, библиотека — Transformers, формат весов — PyTorch; длина контекста составляет 1024 токена. На отложенной тестовой выборке указаны BLEU 19,78 и chrF2 43,08 для перевода с испанского на ваюунаики и BLEU 17,06 и chrF2 33,08 для обратного направления. Лицензия CC-BY-NC-4.0 допускает некоммерческое использование с соблюдением условий лицензии.
Это компактная модель машинного перевода английского текста на корейский язык, созданная dhtocks на основе NLLB-200 600M. В модели сокращено число слоёв энкодера и декодера с 12 до 3; размер около 464 млн параметров по метаданным Hugging Face и 350,5 млн по README. Она использует архитектуру M2M100 и рассчитана на запуск через Transformers; автор сообщает, что модель можно запускать на CPU без смешанной точности и квантования. Для токенизатора указаны английский eng_Latn и корейский kor_Hang, а контекст составляет 1024 токена. Модель предназначена для перевода с английского на корейский, в том числе в средах с ограниченными вычислительными ресурсами. Для обучения использован датасет NLLB, для оценки — FLORES-200. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование. В README приведены показатели chrF++ для исходных моделей NLLB, но результат этой модели отдельно не указан, поэтому её качество относительно этих ориентиров определить нельзя.
Модель MiKinSwan/nllb-finetuned-kde4-en-to-mya — дообученная версия facebook/nllb-200-distilled-600M для перевода с английского на бирманский язык. Она построена на архитектуре M2M-100 и предназначена для машинного перевода текста; базовая модель ориентирована на перевод предложений между 200 языками. Контекст модели составляет 1024 токена. В README приведён результат BLEU 2,1167 на оценочном наборе, однако сведений о наборе данных и методике оценки нет, поэтому качество перевода по этому показателю трудно интерпретировать. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
SalomonMetre13/nnb_fr_mt_v3 — модель машинного перевода, разработанная SalomonMetre13 и дообученная на базе t5-base на параллельном корпусе Nande—French. Она предназначена для перевода текстов с языка нандэ на французский. Модель построена на архитектуре T5 и содержит 123,7 млн параметров; длина контекста — 512 токенов. Для оценки автор приводит BLEU 29,9. Модель принимает текст на нандэ и выдаёт текст на французском. Веса опубликованы в формате safetensors, библиотека — Transformers; лицензия — MIT. Карточка не уточняет условия оценки BLEU и качество на других жанрах и тематиках, поэтому результат может отличаться на текстах вне обучающего корпуса.
Ik45 разработала гибридную модель машинного перевода с архитектурой MarianMT — трансформером типа encoder-decoder, созданным методом переноса компонентов и последующего дообучения. Модель переводит текст с арабского на индонезийский. В её основе — энкодер из Helsinki-NLP/opus-mt-ar-en и декодер с индонезийскими эмбеддингами из Helsinki-NLP/opus-mt-en-id; в README указаны 6 слоёв энкодера и 6 слоёв декодера, 8 голов внимания и размер скрытого представления 512. Контекст модели — 512 токенов. Модель предназначена для перевода арабских текстов на индонезийский, в том числе материалов из тематик и корпусов, представленных в данных для обучения: Библия, Коран, TED Talks и QED. Распространяется по лицензии Apache-2.0. Качество перевода для иных жанров и доменов в предоставленных сведениях не описано.
Helsinki-NLP/opus-mt-chk-es — модель машинного перевода из семейства OPUS-MT, разработанного Helsinki-NLP. Она переводит текст с языка чокто (chk) на испанский (es). Модель построена на архитектуре Transformer-align с использованием MarianMT, содержит 55,9 млн параметров и рассчитана на контекст до 512 токенов. В предобработке применяются нормализация текста и SentencePiece. Модель подходит для перевода текстов на чокто на испанский, в том числе материалов, похожих на данные JW300, на которых приведена оценка BLEU 20,8 и chr-F 0,374. Доступны веса в форматах PyTorch и TensorFlow. Лицензия — Apache 2.0. Оценка на одном тестовом наборе не гарантирует сопоставимого качества для других жанров и сценариев.