I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейNVIDIA stt_ar_fastconformer_hybrid_large_pcd_v1.0 — крупная модель автоматического распознавания арабской речи на архитектуре FastConformer. Она принимает монофонический WAV-аудиосигнал с частотой 16 кГц и возвращает текст на арабском языке с диакритическими знаками и поддержкой базовой пунктуации. Размер модели — около 115 млн параметров; обучение использует гибридные декодеры Transducer (RNNT) и CTC, токенизатор SentencePiece с размером словаря 1024. Модель обучена NVIDIA с использованием NeMo на составном наборе примерно из 1100 часов арабской речи. Модель подходит для преобразования записей и речевых файлов в арабскую текстовую расшифровку. Она работает без потоковой обработки; для нормализации результата может потребоваться обратная текстовая нормализация. Точность зависит от шума, акцента, типа речи и контекста; качество может снижаться на диалектной речи и технических терминах, а дословная транскрипция и пунктуация не гарантируются. Модель не предназначена для критически важных приложений. Лицензия — CC BY 4.0; карточка сообщает о возможности коммерческого и некоммерческого использования.
sonoisa/t5-base-english-japanese — Sonoisa が開発した、英語と日本語の均衡コーパスで事前学習した T5(Text-to-Text Transfer Transformer)モデルです。モデルには約123,8百万のパラメータがあり、T5 の encoder-decoder アーキテクチャを使います。 学習データには英語・日本語版 Wikipedia、OSCAR の日本語コーパス、CC-100 の英語・日本語コーパスが含まれます。SentencePiece トークナイザーは byte-fallback に対応し、未知語の発生を実質的に抑えます. Модель предназначена для дальнейшей адаптации: для конкретной задачи требуется дообучение. После настройки её можно применять к задачам преобразования текста, например суммаризации, перевода или генерации ответов. Модель обучалась только на английском и японском языках. В README не приведены длина контекста и результаты бенчмарков. В выходах возможны смещения и вредное или неэтичное содержание, а точность и безопасность не гарантируются. Лицензия — CC-BY-SA 4.0; при использовании корпусов Common Crawl также нужно соблюдать их условия.
Windstorm Labs опубликовала модель машинного перевода с бемба на испанский язык. Это дообученная версия Helsinki-NLP/opus-mt-bem-es: LoRA-дообучение на параллельных текстах было объединено с базовыми весами. Модель построена на архитектуре Marian и содержит 56,4 млн параметров; она принимает и выдаёт текст, а длина контекста составляет 512 токенов. Модель предназначена для перевода текстов с бемба на испанский. В проверке на 48 предложениях FLORES-200 она получила chrF++ 27,11 и BLEU 6,32; авторы относят этот результат к ограниченному уровню и подчёркивают, что это предварительная проверка, а не результат публикационного исследования. Поддерживается только одно направление перевода. Лицензия — Apache-2.0.
WindyTranslate/translate-bi-fr — модель машинного перевода, опубликованная Windstorm Labs и дообученная на параллельном корпусе на основе Helsinki-NLP/opus-mt-bi-fr. LoRA-адаптер объединён с базовыми весами; модель использует архитектуру MarianMT и содержит 54,6 млн параметров. Модель предназначена для перевода текста с языка bi на французский. Она доступна в формате safetensors для загрузки через Transformers и принимает текст, выдавая текст. Контекст составляет 512 токенов. Лицензия — Apache-2.0. Качество перевода не оценивалось бенчмарками, поэтому пригодность для конкретных задач требует проверки. Модель поддерживает только направление bi → fr.
Модель WindyTranslate/translate-crs-es — модель машинного перевода, опубликованная Windstorm Labs. Она переводит с креольского языка Сейшельских островов (crs) на испанский (es) и предназначена для перевода текстов в этом направлении. В основе лежит Helsinki-NLP/opus-mt-crs-es — архитектура MarianMT с 49,4 млн параметров и контекстом до 512 токенов. Весам применили дообучение LoRA на параллельном корпусе, после чего адаптер объединили с базовыми весами. Модель распространяется в формате safetensors и загружается через Transformers. Качество перевода ещё не оценивалось бенчмарками, поэтому его следует проверять на собственных текстах. Модель поддерживает только направление crs→es. Лицензия — Apache-2.0.
Windstorm Labs опубликовала модель машинного перевода с немецкого языка на лингала. Это дообученная модель Helsinki-NLP/opus-mt-de-ln на основе архитектуры MarianMT; LoRA-дообучение на параллельных данных было объединено с базовыми весами. Модель содержит 56,2 млн параметров, работает через Transformers и принимает контекст до 512 токенов. Модель предназначена для перевода текстов с немецкого на лингала; заявленное направление перевода одно. В проверке на 48 предложениях FLORES-200 dev модель получила chrF++ 35,72 и BLEU 6,48; авторы относят результат к уровню «пригодно к использованию» и отмечают, что это скрининговая оценка, а не результат публикационного исследования. Репозиторий распространяется по лицензии Apache-2.0.
WindyTranslate/translate-ee-fi — модель машинного перевода, опубликованная Windstorm Labs для перевода с языка эве на финский. Она основана на Helsinki-NLP/opus-mt-ee-fi: к исходным весам применили LoRA дообучение на параллельном корпусе и объединили адаптер с базовой моделью. Модель MarianMT с 56,6 млн параметров принимает текст и выдаёт перевод; для загрузки доступны веса safetensors в формате Transformers. Модель рассчитана на единственное направление перевода — эве → финский. В проверке на 48 предложениях FLORES-200 dev получены chrF++ 24,67 и BLEU 3,79; это ограниченная скрининговая оценка, а не результат публикационного исследования. Репозиторий указывает лицензию Apache-2.0.
WindyTranslate/translate-efi-fi — модель машинного перевода от Windstorm Labs для перевода с языка эфик на финский. Это дообученная версия Helsinki-NLP/opus-mt-efi-fi: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель построена на архитектуре MarianMT, содержит 56,5 млн параметров, принимает текст и выдаёт текст; штатная длина контекста — 512 токенов. Модель предназначена для перевода текстов с эфик на финский. Опубликована в формате safetensors и загружается через Transformers как модель последовательного преобразования текста. Лицензия — Apache-2.0. Качество перевода ещё не оценивалось бенчмарками; факт изменения весов подтверждает происхождение модели, но сам по себе не говорит о качестве. Поддерживается только направление эфик → финский.
WindyTranslate/translate-en-crs — модель машинного перевода Windstorm Labs для перевода с английского языка на креольский язык Сейшел (crs). Это дообученная версия Helsinki-NLP/opus-mt-en-crs: LoRA-дообучение на параллельных данных было объединено с базовыми весами. Модель использует архитектуру Marian, содержит 47,5 млн параметров и рассчитана на контекст до 512 токенов. Модель распространяется в формате safetensors и загружается через Transformers как encoder-decoder модель для генерации текста. Лицензия — Apache-2.0. Карточка подтверждает, что веса отличаются от оригинала, но качество перевода пока не оценивалось; проверка языка результата не является оценкой точности перевода.
WindyTranslate/translate-en-ss — модель машинного перевода Windstorm Labs для перевода с английского на свати (ss). Это дообученная версия Helsinki-NLP/opus-mt-en-ss: LoRA-дообучение на параллельном корпусе было объединено с базовыми весами. Модель построена на архитектуре MarianMT, содержит 53,4 млн параметров и рассчитана на контекст до 512 токенов. Доступна в формате safetensors для Transformers. Модель предназначена для перевода англоязычных предложений и текстов на свати; поддерживается только это направление перевода. В проверке на 48 предложениях FLORES-200 dev результат chrF++ составил 21,98, отнесённый авторами к ограниченному диапазону, поэтому качество стоит оценивать на собственных данных. Модель распространяется по лицензии Apache-2.0.
WindyTranslate/translate-en-tll — модель машинного перевода Windstorm Labs для перевода текста с английского на язык tll. Это дообученная модель архитектуры MarianMT, основанная на Helsinki-NLP/opus-mt-en-tll; LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель содержит 56,1 млн параметров, использует формат safetensors и доступна для Transformers; заявленная длина контекста — 512 токенов. Модель предназначена для однонаправленного перевода с английского на tll. Вывод проверен на соответствие заявленному языку, однако качество перевода пока не оценивалось, поэтому пригодность результатов для конкретных задач требует отдельной проверки. Распространяется по лицензии Apache-2.0.
Windstorm Labs публикует модель машинного перевода с финского языка (fi) на язык тулу (tll). Это дообученная версия Helsinki-NLP/opus-mt-fi-tll: LoRA-адаптер обучили на параллельных данных и объединили с базовыми весами. Модель MarianMT содержит 57 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Модель предназначена для перевода текстов с финского на тулу. В репозитории размещена сборка Transformers в формате safetensors. Лицензия — Apache-2.0. Качество перевода не оценивалось; модель поддерживает только одно направление перевода.
Windstorm Labs выпустила модель машинного перевода с французского языка на bzs. Это дообученная версия Helsinki-NLP/opus-mt-fr-bzs на архитектуре MarianMT: LoRA-адаптер обучен на параллельном корпусе и объединён с базовыми весами. Модель содержит 52,9 млн параметров, принимает текст и выдаёт перевод; максимальная длина контекста — 512 токенов. Модель предназначена для перевода текстов с французского на bzs. В репозитории размещена сборка для Transformers в формате safetensors. Лицензия — Apache-2.0. Качество перевода пока не проверено бенчмарками, поэтому его следует оценить на целевых данных перед применением.
WindyTranslate/translate-fr-ho — опубликованная Windstorm Labs модель машинного перевода с французского языка на хо. Это дообученная версия Helsinki-NLP/opus-mt-fr-ho: к базовым весам применили LoRA-дообучение на параллельном корпусе и слили адаптер с весами. Модель построена на архитектуре Marian и содержит 48,2 млн параметров; доступна в формате safetensors для Transformers. Лицензия — Apache-2.0. Модель предназначена для перевода текстов с французского на хо. Карточка не содержит результатов оценки качества; изменение весов подтверждает происхождение модели, но не доказывает улучшение перевода. Поддерживается только направление fr→ho.
Sunbird/translate-nllb-1.3b-salt — модель машинного перевода, разработанная на основе facebook/nllb-200-1.3B и дообученная Sunbird на наборе данных SALT и дополнительных ресурсах, включая обратно переведённые новостные статьи, FLORES-200, MT560 и LAFAND-MT. Токенизатор адаптирован для поддержки языков, которых не было в исходной модели. Модель предназначена для перевода отдельных предложений между английским, ачоли и лугбара, в том числе в обоих направлениях. В метаданных указаны архитектурное семейство NLLB, формат safetensors и задача text-generation; README приводит результаты оценки BLEU на salt-dev для ряда языковых пар. Модель ориентирована на перевод предложений и её возможности за пределами указанных языковых пар и сценариев в источниках не описаны. Лицензия в предоставленных данных не указана.
TranslatePsy-AfriSLM-0.8B — компактная разговорная модель машинного перевода, разработанная Tether AI Research и опубликованная QVAC. Это полноразмерное supervised fine-tuning модели Qwen3.5-0.8B с примерно 0,8 млрд параметров; веса доступны в формате safetensors, лицензия Apache 2.0. Модель предназначена для перевода между английским и 19 языками Африки к югу от Сахары, а также для многоходового диалога о переводе. Она обучена на отфильтрованных параллельных данных и многоязычных инструкциях. В статье сообщается о результатах на африканских тестах перевода, однако качество различается по языкам и направлениям; мультимодальные возможности базовой модели после дообучения не оценивались. Модель может ошибаться, пропускать или искажать содержание, особенно для неподдерживаемых языков, диалектов, специализированных текстов, переключения языков и длинных документов. Обучающие переводы преимущественно синтетические, а экспертная оценка носителями языков в статье не проводилась. Для медицинских, юридических и других важных переводов требуется проверка квалифицированным человеком.
Vakya-Mini-Extended-100M (vakya-v1.2.1) — компактная модель перевода, разработанная DireDreadlord и дообученная методом SFT на базе tiiuae/Falcon-H1-Tiny-Multilingual-100M-Instruct. Она предназначена для перевода предложений с английского на хинди и рассчитана на быстрый запуск в условиях ограниченной памяти, в том числе на GPU ноутбука. Модель использует архитектуру Falcon-H1; в метаданных указано 77,6 млн параметров, а README приводит оценку около 100 млн. Заявленная длина контекста — 262144 токена. Для дообучения использован датасет DireDreadlord/en-hi-instruct-structured примерно с 1,66 млн шаблонно оформленных примеров; обучение продолжалось 2000 шагов на RTX 3050 с 4 ГБ видеопамяти. Карточка отмечает улучшение перевода в версии Extended благодаря обучению на более крупном корпусе. README предупреждает о возможных галлюцинациях при интенсивном использовании и характеризует модель как экспериментальную. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.
NTQAI разработала эту модель распознавания японской речи на основе facebook/wav2vec2-large-xlsr-53, дообучив её на Common Voice, JSUT, TEDxJP и других открытых данных. Это трансформер Wav2Vec2 с архитектурой Wav2Vec2ForCTC и примерно 404,9 млн параметров; модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст на японском языке. Модель предназначена для автоматической транскрибации японской речи. В приведённой оценке на тестовой части Common Voice указаны WER 73,10% и CER 18,15%, поэтому результаты могут требовать проверки и исправления, особенно в сценариях, где важна высокая точность. В README не указана лицензия.
KOYA Dhivehi Whisper Medium — дообученная модель распознавания речи, созданная на основе openai/whisper-medium. Разработчик указал, что использовал данные Common Voice 13 и набор Shaafiu; модель содержит 455,8 млн параметров и предназначена для преобразования аудиозаписей на дивехи в текст. В карточке приведены результаты оценки: WER 8,3095 и WER по орфографической метрике 48,9192. Эти показатели зависят от набора и метода оценки и не гарантируют такое же качество на других записях. Модель распространяется в формате safetensors по лицензии Apache-2.0.
Whisper Small Persian — модель распознавания речи, созданная дообучением Whisper Small на датасете Common Voice 17.0. Она принимает аудио и генерирует текстовую расшифровку, в первую очередь на персидском языке. В модели около 153,1 млн параметров; архитектура основана на WhisperForConditionalGeneration, веса опубликованы в формате safetensors. На оценочной выборке указаны loss 0,7217 и WER 45,6220. Лицензия в предоставленных данных не описана.
taesiri/whisper-small-fa-7 — модель распознавания речи, созданная дообучением Whisper Small от OpenAI на наборе Common Voice 11.0. Она преобразует аудио в текст и рассчитана на распознавание персидской речи. Архитектура — WhisperForConditionalGeneration; модель содержит 153,1 млн параметров. В карточке приведены результаты оценки на тестовой выборке: loss 0,6904 и WER 34,2597. Модель распространяется в формате PyTorch по лицензии Apache-2.0.
seanghay/whisper-small-khmer-v2 — модель распознавания речи, созданная дообучением openai/whisper-small на датасетах OpenSLR (SLR42), Google FLEURS и km-speech-corpus. Она предназначена для транскрибирования аудио на кхмерском языке; в Transformers её используют для преобразования аудиозаписей в текст. Модель содержит 153,1 млн параметров, построена на архитектуре Whisper и распространяется в форматах PyTorch, Flax и Safetensors. В README указаны результаты на оценочном наборе: loss 0,26 и WER 0,6165. WER указывает на заметную долю ошибок распознавания, поэтому результат следует проверять, особенно для шумных записей и сценариев с высокими требованиями к точности. Лицензия — Apache-2.0.
Lingalingeswaran дообучил модель openai/whisper-small на наборе данных Sinhala ASR, чтобы распознавать речь на сингальском языке и преобразовывать её в текст. Модель построена на архитектуре Whisper, содержит 153,1 млн параметров и рассчитана прежде всего на транскрибирование речи на сингальском; также в карточке указана поддержка определения языка. Репозиторий использует Transformers и формат safetensors. Модель подходит для создания текстовых расшифровок сингальской речи, в том числе записей с разными голосами и стилями речи. По данным карточки, качество может снижаться на шумных записях, при выраженных акцентах и для языков или диалектов, недостаточно представленных в обучающих данных; для других языков модель оптимизирована хуже. Лицензия — Apache-2.0.
Yohan2003/whisper-small-sinhala — набор дообученных вариантов Whisper Small для автоматического распознавания речи на сингальском языке. Репозиторий содержит девять обучающих запусков с весами и разбиениями данных; автор рекомендует run6 для максимальной точности распознавания сингальской речи. Модель основана на мультиязычной openai/whisper-small и принимает аудио, выдавая транскрипцию текстом. Обучение проводилось на примерно 154 828 примерах сингальской речи из OpenSLR-52, YouTube, BizBrains и Linga. Для рекомендованного run6 приведена оценка на тестовом наборе без пересечения дикторов с обучением; точность зависит от орфографических вариантов, редких слов и длинных высказываний. LoRA-варианты могут повторять слова в длинных выводах. Лицензия репозитория — Apache-2.0. Английское забывание для поздних запусков run5–run9 не оценивалось.
Это модель автоматического распознавания речи, созданная дообучением openai/whisper-small на корпусе Uyghur Common Voice. Она предназначена для транскрибации аудио на уйгурском языке. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и загружает аудио на входе, выдавая текст. При обучении использованы объединённые обучающая и валидационная части Common Voice 15.0: 11 215 записей продолжительностью около 20 часов. Оценка проведена на тестовой части THUYG20; в карточке указаны WER 28,30%, орфографический WER 42,97% и CER 10,90%. Модель распространяется по лицензии Apache 2.0.
biodatlab выпустила дообученную версию OpenAI Whisper Large v2 для распознавания тайской речи. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и распространяется в формате PyTorch. Она обучена на тайской части набора Mozilla Common Voice 11.0; в карточке указаны результаты оценки: loss 0,1244 и WER 15,5103. Модель предназначена для автоматической транскрипции аудио на тайском языке. Лицензия Apache-2.0 разрешает использование в соответствии с её условиями.
NavAI · whisper-tiny-uzbek — компактная модель распознавания узбекской речи, разработанная NavAI на основе openai/whisper-tiny и дообученная на 753 часах аудио с человеческими расшифровками. В метаданных указано 29,4 млн параметров; README называет размер модели 39 млн. Архитектура — WhisperForConditionalGeneration, веса доступны в формате safetensors и предназначены для использования с Transformers. Модель преобразует узбекскую речь в текст, в первую очередь на латинице (uzn_Latn). Она подходит для транскрибации записей и пакетной обработки аудио; для лучших результатов рекомендуется явно задать язык «uz». Длинные записи обрабатываются окнами по 30 секунд. На четырёх тестовых наборах узбекской речи модель показывает макро WER 18,13% и микро WER 17,2%; качество ниже на энциклопедической речи и редких иностранных именах. Модель слабее справляется с дальними, шумными и выраженно диалектными записями; основной целевой вариант — узбекская речь на латинице. Лицензия модели — Apache-2.0.
carlot/whisper-tiny-zh — дообученная carlot модель распознавания речи на основе openai/whisper-tiny. Она предназначена для преобразования аудиозаписей на китайском языке в текст. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 29,4 млн параметров и дообучена на наборе Common Voice 11.0. Распространяется в формате PyTorch по лицензии Apache-2.0.
Ikhou Dictionary Model (dict-xs) — компактная многоязычная модель, разработанная Ikhou и дообученная на базе Qwen/Qwen3-0.6B. Она формирует краткие словарные переводы и толкования слов и выражений с учётом контекста, добавляя грамматические пометы: часть речи, род существительного, а для глагольных форм — сведения о времени или наклонении. Модель предназначена для быстрых подсказок в приложениях для чтения, изучения слов и языков, а также для помощи при переводе. Модель построена на архитектуре Qwen3ForCausalLM и содержит около 508 млн параметров по метаданным; в карточке указано 596 млн. Она принимает слово или выражение, предложение с этим выражением и коды исходного языка и языка определения. Поддерживает более 50 языков, включая русский, английский, французский, китайский и японский. Максимальный контекст — 40 960 токенов, при этом обучение проводилось на последовательностях до 512 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Сильные стороны модели — краткий формат словарной статьи, грамматические пометы и учёт контекста. Лучше всего она работает с ясным контекстом и фразами длиной от одного до шести токенов; качество может быть ниже для редких языков и собственных имён, а неоднозначные выражения могут получить только распространённые значения. Результаты не следует считать авторитетным переводом для чувствительных задач.
ESPRIT-Derja-Qwen3-8B-v2 — диалоговая языковая модель, разработанная отделом искусственного интеллекта ESPRIT School of Engineering в Тунисе. Это дообученная с помощью LoRA модель Qwen/Qwen3-8B с 7,6 млрд параметров, предназначенная для понимания инструкций и общения на тунисском диалекте арабского языка (Derja). Она принимает и генерирует текст как арабским письмом, так и в латинской транслитерации Arabizi; поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель подходит для разговорных приложений, которым нужны ответы на тунисском диалекте: повседневного общения, обсуждения местной культуры, кухни, технологий, спорта и идиом. Она обучена на 7 013 примерах инструкций, включая синтетические пары ответов на арабском и Arabizi и вручную написанные диалоги. Распространяется по лицензии Apache-2.0. Модель лучше подходит для естественного диалога на Derja, чем для ответов, требующих высокой фактической точности. Она может смешивать тунисскую речь с другими магрибскими диалектами и иногда придумывать слова; обучающий набор сравнительно невелик.