I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейHachimiMT-60-QT — модель машинного перевода с китайского на вьетнамский, созданная для перевода китайских веб-новелл в устойчивом классическом регистре «truyện convert». Она основана на MarianMT и обучена сохранять архаичную систему обращений и местоимений, включая «ta», «ngươi», «hắn», «nàng», «tỷ tỷ» и «ca ca», не переключаясь на современные формы в пределах главы. Версия v1.1 продолжает обучение предыдущей версии на примерах редких выражений и идиом с повторным использованием исходных данных. В README приведены результаты сравнений качества перевода и стабильности регистра, а также экспорт INT8 для быстрого CPU-инференса через CTranslate2. Модель подходит для перевода отдельных предложений и глав веб-новелл; указанное в метаданных родное окно контекста — 512 токенов. Модель может ошибаться в редких именах и авторских терминах, транслитерировать их непоследовательно или переводить буквально; некоторые многозначные выражения также остаются сложными. Лицензия — CC BY 4.0.
Buseak разработал md_mt5_0109_v2 — дообученную модель семейства mT5 с архитектурой MT5ForConditionalGeneration и 157,4 млн параметров. Модель сохранена в формате safetensors и распространяется по лицензии Apache-2.0. Карточка указывает результаты оценки: loss 0,2368, BLEU 0,5272 и среднюю длину генерации 18,93 токена. Датасет, назначение дообучения и целевые сценарии в карточке не раскрыты, поэтому определить конкретные задачи модели нельзя.
MITRA-QWEN — модель перевода Buddhist-NLP на архитектуре Qwen3.5, дообученная для работы с классическими буддийскими языками. Она переводит классический тибетский, санскрит, пали и классический или буддийский китайский на английский, японский, современный китайский, корейский, немецкий, французский и другие языки, а также поддерживает обратные направления. Модель предназначена для перевода канонических и научных текстов, в том числе с использованием примеров переводов из поиска или памяти переводов. Модель имеет плотную архитектуру Qwen3_5ForCausalLM и 7,2 млрд параметров; в README базовая модель обозначена как Qwen/Qwen3.5-9B. Метаданные указывают контекст до 262 144 токенов. Обучение включало продолжение предобучения на профильном корпусе, дообучение на параллельных примерах и оптимизацию предпочтений. Для работы нужны Transformers версии 5.13 или новее либо совместимая сборка vLLM; рекомендуется шаблон чата Qwen с отключённым режимом рассуждений. Лицензия — Apache-2.0. Сильная сторона модели — перевод буддийской терминологии и воспроизведение канонического регистра, в том числе при переводе в классические языки. По описанным в README слепым попарным оценкам и тестам с автоматическим судьёй она показывает конкурентные результаты на проверенных направлениях. Качество слабее на обратных направлениях в санскрит и на парах с очень малым объёмом данных; для длинных профильных текстов могут помочь примеры переводов в контексте. Стандартные метрики BLEU и chrF могут занижать качество из-за диакритики IAST и современного научного регистра.
HuggingAnalist подготовил модель распознавания речи на шона для задачи Waxal ASR Challenge. Это дообученная версия facebook/mms-300m на датасете WaxalNLP sna_asr с символьной CTC-головой; архитектура основана на Wav2Vec2. Для декодирования методом beam search в репозитории также приведена 4-граммная языковая модель KenLM, обученная на транскрипциях обучающей выборки. Метаданные указывают 1,3 млрд параметров и формат safetensors. Модель принимает аудио и выдаёт текст на шона. Лицензия и длина контекста в предоставленных данных не приведены.
facebook/mms-tts-dga — модель синтеза речи на южном диалекте языка дагаари (dga), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; MMS-TTS поддерживается библиотекой Transformers версии 4.33 и выше. Стохастический предиктор длительности позволяет получать варианты ритма речи, поэтому для повторения того же результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-enx — модель синтеза речи на языке энxет (Enxet, код enx), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозную условную вариационную автоэнкодерную систему с текстовым энкодером, нормализующими потоками, стохастическим предсказателем длительности и декодером в стиле HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна для PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Стохастический предсказатель длительности позволяет получать варианты ритма для одного и того же текста, поэтому результаты генерации могут различаться; фиксированный seed нужен для повторения того же аудио. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-jac — модель синтеза речи на языке якальтеко (Jakalteko), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка проекта обучен отдельный чекпойнт. Модель использует архитектуру VITS и обучается сквозным образом: текстовый энкодер, потоковый модуль и декодер формируют аудиосигнал, а стохастический предиктор длительности позволяет варьировать ритм речи. Размер модели — около 3,5 млн параметров. Чекпойнт доступен для PyTorch и safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Модель предназначена для озвучивания текста на якальтеко. Из-за стохастической генерации одинаковый текст может давать разные варианты речи; для повторяемого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
facebook/mms-tts-yad — модель синтеза речи на языке ягуа (Yagua, код yad), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на ягуа. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, декодер HiFi-GAN и стохастический предиктор длительности, позволяющий варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для одинакового результата генерации требуется фиксировать seed. Модель можно использовать через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 требует атрибуции и ограничивает коммерческое использование.
Модель sayanmandal/t5-small_6_3-hi_en-to-en — компактная модель перевода на базе архитектуры T5, обученная с нуля на наборе cmu_hinglish_dog. Она преобразует текст на хинглиш (смешение хинди и английского) в английский. В репозитории указано 38,5 млн параметров; используется PyTorch, длина контекста — 512 токенов. Модель предназначена для перевода коротких текстов на хинглише. На тестовой выборке автор сообщает BLEU 18,0863. Результат относится к указанному набору данных и не гарантирует такое же качество на других текстах; карточка не описывает дополнительные сценарии применения. Лицензия в предоставленных данных не указана.
WindyTranslate/translate-ase-sv — модель машинного перевода, опубликованная Windstorm Labs и дообученная на параллельных корпусах на основе Helsinki-NLP/opus-mt-ase-sv. Это модель архитектуры MarianMT с 50,1 млн параметров; LoRA-дообучение объединено с базовыми весами. Репозиторий содержит сборку Transformers в формате safetensors, а нативный контекст составляет 512 токенов. Модель предназначена для перевода с ase (американского жестового языка) на шведский. Она поддерживает одно направление перевода и может использоваться в сценариях, где нужно преобразовать текстовое представление ase в текст на шведском. Лицензия — Apache-2.0. Качество модели пока не оценивалось бенчмарками. Изменение весов подтверждает происхождение производной модели, но само по себе не свидетельствует о качестве перевода; пригодность результата следует проверять на целевых данных.
DrishtiSharma выпустила модель автоматического распознавания речи, дообученную на основе facebook/wav2vec2-xls-r-300m на конфигурации ab набора Mozilla Common Voice 7.0. Это архитектура Wav2Vec2ForCTC с 402,7 млн параметров, принимающая аудио и выдающая распознанный текст; модель предназначена для транскрибирования речи на языке абазинском. На тестовом наборе карточка сообщает значение WER 0,5651 и loss 0,5620. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Показатель WER указывает на заметные ошибки распознавания, поэтому перед применением для конкретных записей качество стоит оценить на собственных данных.
Это модель автоматического распознавания речи на себуано, созданная участниками проекта halohalo. Она получена дообучением мультиязычной Whisper large-v3 от OpenAI на филиппинском языковом датасете PLD, содержащем прочитанные вслух записи; на вход подаётся аудио, на выходе получается текстовая транскрипция. Модель рассчитана на распознавание себуано и предназначена также для сравнительных экспериментов с распознаванием филиппинских языков. На тесте с невстречавшимися дикторами и предложениями ошибка составила 16,38% по символам и 36,80% по словам. Датасет состоит из подготовленной читаемой речи, поэтому точность может снижаться на спонтанных разговорах, телефонных записях, шумном аудио и при переключении языков. Модель обучалась с использованием ближайшего к себуано токена Whisper; README рекомендует не передавать аргумент language. Лицензия модели — CC-BY-NC-4.0, а обучающий корпус предназначен для некоммерческого использования и исследований.
Cheetah — модель генерации текста, разработанная исследователями UBC-NLP и представленная в статье ACL 2024 о генерации естественного языка для 517 африканских языков и языковых вариантов. Это модель семейства T5 на 291,2 млн параметров, доступная в формате PyTorch. Модель предназначена для генеративных задач на африканских языках, в том числе для создания связного текста, поддержки приложений на языках с ограниченными NLP-ресурсами и исследовательской работы по сохранению языкового разнообразия. В статье описаны оценки на семи задачах генерации; авторы сообщают, что в пяти из них Cheetah превзошла другие сравниваемые модели. Доступный пример использования упоминает предсказание маскированных токенов. Качество может различаться между языками: авторы отмечают, что не смогли провести полноценную проверку с носителями большинства охваченных языков. Обучающие данные могут содержать предвзятость, а проведённые анализы не гарантируют её отсутствия. Условия лицензии в предоставленных данных не описаны.
en-toki-mt — модель машинного перевода, созданная дообучением Helsinki-NLP/opus-mt-en-ROMANCE на парах английского и токи-пона из Tatoeba. Она предназначена для перевода с английского на токи-пона; архитектура — Marian Transformer, размер — 58,4 млн параметров, длина контекста — 512 токенов. Обучающая выборка содержит около 20 000 пар предложений без фильтрации. На тестовом наборе модель показала BLEU 54. Токи-пона — минималистичный искусственный язык с небольшим словарём, поэтому модель может ошибаться при переводе сложной лексики. Модель распространяется по лицензии Apache-2.0.
chrisjay/fonxlsr — модель распознавания речи на базе Wav2Vec2-Large-XLSR-53, дообученная Chris C. Emezue и Bonaventure F.P. Dossou на наборе Fon Dataset для языка фон (фɔ̀нгбè). Модель преобразует речь в текст и предназначена для транскрибирования аудиозаписей на этом языке. Модель содержит около 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. Для входной речи требуется частота дискретизации 16 кГц. В README приведён результат оценки 14,97 % на тестовых данных Fon; метрика в карточке не уточнена. Модель распространяется по лицензии Apache-2.0.
entai2965/nllb-200-distilled-600M-ctranslate2 — версия NLLB-200 distilled 600M, подготовленная для запуска с CTranslate2; в метаданных базовой моделью указана facebook/nllb-200-distilled-600M. Модель предназначена для машинного перевода отдельных предложений между 200 языками, в том числе языками с ограниченными ресурсами, и может применяться в исследованиях машинного перевода. Модель обучена на многоязычных параллельных и монолингвальных текстовых данных. Для оценки использовался набор FLORES-200; в карточке упомянуты метрики BLEU, spBLEU, chrF++ и человеческая оценка. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование. Карточка предостерегает от производственного применения и перевода документов, а также от использования для медицинских и юридических текстов или сертифицированного перевода. Обучение использовало входные последовательности длиной не более 512 токенов; более длинные тексты могут переводиться хуже. Качество на других доменах и языковых вариантах может различаться, а ошибки перевода способны повлиять на решения в важных ситуациях.
MooreMuaMu/qwen35-27b-ancient-rl-r32-step200 — слитый чекпойнт Qwen3.5-27B, подготовленный MooreMuaMu для задач с древними языками. Веса LoRA ранга 32, обученной методом GRPO, объединены с базовой моделью второго этапа обучения; репозиторий содержит полные веса bfloat16 в формате safetensors и файлы токенизатора, процессора и шаблона чата для загрузки через Transformers. Модель предназначена для ответов на запросы по тибетской и традиционной монгольской аннотации и переводу. В тестировании на 300 отложенных запросах доля непустых извлечённых ответов выросла с 93,7% у базы до 98,7%, а корпусный BLEU-2 улучшился на 3,21 процентного пункта. При этом точное совпадение снизилось, доверительные интервалы семантических метрик включали ноль, а результаты по отдельным языковым задачам были неоднородными; автор описывает чекпойнт как исследовательский эксперимент. Лицензия — Apache-2.0.
RomanEng2Nep-v2 — модель Syubraj для преобразования записанного латиницей английского текста в непальское письмо. Она дообучена на google/mt5-small и использует архитектуру encoder-decoder mT5 с 157,4 млн параметров. Модель предназначена для транслитерации с Roman English на непальский; в карточке задача также обозначена как перевод. Обучение продолжалось в несколько этапов на датасете syubraj/roman2nepali-transliteration. Модель принимает текст и выдаёт текст на непальском письме. Для использования доступны веса в формате safetensors и библиотека Transformers. Лицензия — Apache-2.0. В карточке приведены метрики обучения и валидации, но они не устанавливают качество на произвольных текстах; применение лучше ограничивать преобразованием, соответствующим обучающим данным.
WindyTranslate/translate-afa-afa — модель машинного перевода, опубликованная Windstorm Labs и дообученная на параллельном корпусе. В основе лежит Helsinki-NLP/opus-mt-afa-afa; LoRA-дообучение объединено с базовыми весами. Модель построена на архитектуре MarianMT и содержит 42,4 млн параметров. Модель предназначена для перевода между языками афразийской группы с кодом afa. Она принимает текст и выдаёт переведённый текст; заявленная длина контекста составляет 512 токенов. Репозиторий содержит веса в формате safetensors для Transformers. Лицензия — Apache-2.0. Качество перевода не оценивалось бенчмарками, поэтому пригодность для конкретных языков и сценариев следует проверять отдельно. Указано только одно направление: afa → afa.
WindyTranslate/translate-de-pon — модель машинного перевода, опубликованная Windstorm Labs и дообученная на параллельных данных для перевода с немецкого языка на понпейский. Она основана на Helsinki-NLP/opus-mt-de-pon и использует архитектуру MarianMT с примерно 54,2 млн параметров; контекст ограничен 512 токенами. LoRA-дообучение объединено с базовыми весами, модель доступна в формате safetensors и загружается через Transformers. Модель предназначена для перевода немецких текстов на понпейский в сценариях, где нужна именно эта языковая пара. Качество пока не оценивалось бенчмарками, поэтому надёжность переводов не установлена; изменение весов подтверждает происхождение дообученной версии, но не качество. Лицензия — Apache-2.0.
Windstorm Labs выпустила модель машинного перевода с английского языка на pqw. Это дообученная модель Helsinki-NLP/opus-mt-en-pqw на базе архитектуры MarianMT; LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель содержит 55,3 млн параметров, принимает текст, использует контекст до 512 токенов и распространяется в формате safetensors для Transformers. Модель предназначена для перевода текста с английского на pqw. Карточка подтверждает, что выходной текст соответствует заявленному языку, но качество перевода ещё не оценено. Модель поддерживает только это направление перевода и распространяется по лицензии Apache-2.0.
Windstorm Labs опубликовала модель машинного перевода с испанского на йоруба, полученную дообучением Helsinki-NLP/opus-mt-es-yo. Это MarianMT-модель на 55,7 млн параметров с контекстом до 512 токенов; LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель принимает испанский текст и генерирует перевод на йоруба. Модель предназначена для перевода коротких текстов и фраз в направлении es→yo. В скрининговой оценке на 48 предложениях FLORES-200 она получила chrF++ 15,34 и BLEU 1,26; этот результат указывает на ограниченное качество и не является публикационной оценкой. Репозиторий распространяется по лицензии Apache-2.0.
WindyTranslate/translate-fr-kqn — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-fr-kqn: LoRA-адаптация на параллельных текстах объединена с базовыми весами. Модель построена на архитектуре MarianMT, содержит 56,6 млн параметров и предназначена для перевода с французского на язык, обозначенный кодом kqn. Она принимает текст и генерирует текст перевода; максимальная длина контекста — 512 токенов. Модель распространяется в формате safetensors для Transformers по лицензии Apache-2.0. Для неё не проводились тесты качества перевода, поэтому точность и пригодность для конкретных текстов не подтверждены. Поддерживается только направление fr→kqn.
neureps разработала warmly-nmt-nllb600-enko — дообученную на англо-корейских комментариях модель машинного перевода на базе NLLB-200-distilled-600M. Она предназначена для перевода эмоциональных комментариев с английского на корейский; использует архитектуру M2M100ForConditionalGeneration и библиотеку Transformers. В обучении применялись 1410 примеров, для проверки — 300, обучение шло 6 эпох. Модель содержит 463,7 млн параметров, поддерживает контекст до 1024 токенов и распространяется в формате safetensors. Модель лучше исходной версии справляется с пробелами, восклицаниями и сохранением эмодзи при использовании внешней обёртки для маскирования и восстановления эмодзи. В тестировании chrF составил 33,7 на полном наборе из 40 примеров и 36,3 на примерах, соответствующих реальному распределению. При этом сохраняются отдельные ошибки перевода тематической лексики, связанные с ограниченным словарным запасом модели. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование; карточка позиционирует модель для исследований и сравнительной оценки.
Blgn94/whisper-small-mn-v3 — дообученная модель семейства Whisper, созданная для распознавания монгольской речи на кириллице (халха). Она основана на openai/whisper-small с 244 млн параметров и предназначена для преобразования аудио в текст, в частности для транскрибирования чёткой речи в задачах распознавания речи и подготовки текстовых расшифровок. Модель обучена на датасете Blgn94/mongolian-stt-dataset-v24 объёмом около 148 часов. В README описана версия v25: на пользовательском тестовом наборе с текстами, исключёнными из обучения, нормализованный WER составил 19,67; на спонтанной речи YouTube ошибка заметно выше. Модель лучше подходит для чтения подготовленного текста, чем для разговорной и шумной речи. Проверка на официальном тестовом наборе Common Voice и на полностью новых дикторах не проводилась. Модель принимает аудио и выдаёт текст. Она распространяется под лицензией Apache-2.0; для длинных аудиозаписей README рекомендует использовать разбиение на фрагменты по 30 секунд.
oshizo разработал эту модель, дообучив Donut base от naver-clova-ix на синтетических изображениях в стиле визуальных новелл. Это модель архитектуры vision-encoder-decoder для преобразования изображения с экраном визуальной новеллы в текстовое представление JSON с ключами options, names и messages. Модель предназначена для распознавания текста диалогов и вариантов выбора в визуальных новеллах. При обучении её настраивали на чтение основного текста без влияния фуриганы, а также на пропуск элементов интерфейса, таких как SAVE и LOAD, и отображения дат. Она рассчитана на японский язык и обучалась на изображениях размером 1920 × 1080.
aparajitha/mbart-sci-tr — дообученная модель на базе facebook/mbart-large-50, созданная для преобразования текста. В карточке не уточняется назначение суффикса «sci-tr» и не приводятся сведения о датасете; указана только метрика Loss 2,5785 на наборе оценки. Модель использует архитектуру mBART для генерации последовательности по входному тексту, содержит 457,4 млн параметров и имеет контекст длиной до 1024 токенов. Библиотека запуска — Transformers, веса доступны в формате safetensors. Лицензия — MIT.
MIT 48px OCR — конвертированная в SafeTensors модель распознавания текста из комиксов, используемая в manga-image-translator и BallonsTranslator. Она принимает уже обнаруженные и обрезанные строки текста, нормализованные до высоты 48 пикселей, и распознаёт их; также предсказывает цвета переднего и заднего плана. Модель не ищет текстовые области на целой странице. Архитектура включает визуальный экстрактор признаков ConvNeXt и энкодер Transformer из четырёх слоёв вместе с декодером из пяти слоёв. Размер эмбеддинга — 320, предусмотренная максимальная ширина входа — 8100 пикселей, максимальная длина последовательности — 255 токенов, стандартный beam size — 5. Алфавит токенизатора заявлен как многоязычный, но конкретный охват языков не перечислен. Результат зависит от качества обрезки, масштаба текста, поддержки языка в алфавите и степени повреждения изображения. Сведения об обучающих данных и метриках оценки отсутствуют. Репозиторий содержит конвертированные веса SafeTensors и распространяется по лицензии GPL-3.0.
MoxhiMT-30-QT — модель машинного перевода с китайского на вьетнамский от DanVP, предназначенная прежде всего для перевода веб-романов. Это модель Marian seq2seq примерно на 37 млн параметров с 8 слоями кодировщика и 2 слоями декодера, совместимая по токенизатору и конфигурации с MoxhiMT-30. Совместный SentencePiece-токенизатор содержит 24 тыс. токенов, а длина контекста составляет 512 токенов. Вариант QT обучен на целях перевода, приведённых к единому стилю конвертированной литературы. Он поддерживает устойчивый выбор местоимений и обращений между соседними репликами: например, использует «ta» для 我 и «ngươi» для 你, не угадывая род и родственные отношения говорящих. Модель подходит для последовательного перевода глав китайских веб-романов, особенно жанра сянься. Для инференса автор рекомендует beam search с четырьмя лучами; после декодирования можно убрать добавленный пробел после открывающих кавычек и скобок. Модель намеренно сохраняет стилистику QT даже в современном сеттинге и уплощает различие между включительным и исключительным «мы». Это снижает естественность разговорного вьетнамского и может быть неподходящим для локализации современных текстов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
entai2965/nllb-200-3.3B-ctranslate2-float16 — вариант модели NLLB-200 с 3,3 млрд параметров, размещённый пользователем entai2965 и основанный на facebook/nllb-200-3.3B. Репозиторий предназначен для запуска машинного перевода в формате CTranslate2 с точностью float16; исходная модель разработана командой NLLB и описана в статье No Language Left Behind: Scaling Human-Centered Machine Translation (2022). Модель переводит отдельные предложения между 200 языками, включая языки с ограниченными ресурсами; её целевая аудитория — исследователи машинного перевода. Она обучена на многоязычных параллельных и монолингвальных текстах, а качество оценивалось, в частности, на FLORES-200. Лицензия — CC-BY-NC-4.0. Модель не предназначена для производственного развертывания, перевода документов или специализированных медицинских и юридических текстов. Обучающие последовательности не превышали 512 токенов, поэтому на более длинных входах качество может снижаться; переводы могут содержать ошибки и не являются сертифицированными.