I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейWindyTranslate/translate-fi-war — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-fi-war: LoRA-адаптер обучили на параллельных текстах и объединили с базовыми весами. Модель построена на архитектуре MarianMT, содержит 56,8 млн параметров и принимает текст на финском языке, выдавая перевод на язык варайский. Для загрузки используется Transformers; репозиторий содержит веса в формате safetensors, а размер контекста составляет 512 токенов. Модель предназначена для перевода с финского на варайский. В проверке на 48 предложениях набора FLORES-200 она получила chrF++ 30,87 и BLEU 6,62; авторы относят этот результат к уровню «пригодно», но отмечают, что это лишь предварительная оценка. Поддерживается только одно направление перевода. Лицензия — Apache-2.0.
Модель WindyTranslate/translate-fr-lua — система машинного перевода с французского языка на луба-касай (lua), опубликованная Windstorm Labs. Она основана на Helsinki-NLP/opus-mt-fr-lua: к исходным весам применили дообучение LoRA на параллельных текстах и объединили адаптер с базовой моделью. Модель использует архитектуру MarianMT, содержит 55,9 млн параметров и принимает контекст длиной до 512 токенов. Модель предназначена для перевода французских текстов на луба-касай. Доступна сборка для Transformers в формате safetensors; лицензия — Apache-2.0. В тесте FLORES-200 на 48 предложениях модель получила chrF++ 27,67 и BLEU 2,50; авторы характеризуют результат как ограниченный скрининговый показатель, а не публикационную оценку.
Модель khanhld/wav2vec2-base-vietnamese-160h — дообученная авторами на примерно 160 часах вьетнамской речи версия Wav2Vec2 для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC, содержит 113,3 млн параметров и принимает аудио, выдавая распознанный текст на вьетнамском языке. Обучающие данные собраны из VIVOS, Common Voice, FOSD и VLSP 100h. Модель предназначена для преобразования вьетнамской речи в текст. В README приведены результаты WER 15,05 на VIVOS и 10,78 на Common Voice 8.0 без языковой модели; интеграция языковой модели в описанной ASR-системе ещё не выполнена. Распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.
menhior дообучил модель facebook/wav2vec2-xls-r-300m на Common Voice для автоматического распознавания речи. Модель построена на архитектуре Wav2Vec2 и выдаёт текстовую транскрипцию по аудиозаписи; в метаданных указано 402,7 млн параметров и формат PyTorch. Название репозитория указывает на настройку для турецкого языка. На оценочном наборе указаны loss 0,3991 и WER 0,3050. Модель подходит для транскрибирования турецкой речи в сценариях, подобных записям Common Voice. Лицензия — Apache-2.0. Подробности о тренировочных настройках и конкретных ограничениях в карточке не раскрыты.
wav2vec2-large-xlsr-mvc-swahili — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53. Она предназначена для преобразования аудиозаписей на суахили в текст и обучена на данных Common Voice 13.0. Модель использует архитектуру Wav2Vec2ForCTC, содержит около 402,7 млн параметров и принимает аудио, выдавая текст. Базовая модель предварительно обучена на речи 53 языков. В README отмечена проблема со словарём: при обучении не учли некоторые специальные символы, поэтому распознавание таких символов может работать некорректно. Модель распространяется по лицензии Apache-2.0.
Wav2Vec2 XLS-R 300M Korean — модель автоматического распознавания речи, дообученная Wilson Wongso на архитектуре XLS-R. Она преобразует корейскую речь в текст и предназначена для распознавания аудиозаписей на корейском языке. Модель основана на Wav2Vec2-XLS-R-300M; метаданные указывают 403,9 млн параметров, а README округляет размер до 300 млн. Использованы PyTorch и формат safetensors; лицензия — Apache-2.0. На наборе Zeroth Korean указаны WER 29,54% и CER 9,53%; на тестовых данных Robust Speech Event — WER 76,26% и CER 38,67%, что указывает на заметно худшие результаты вне основного набора оценки. README предупреждает о возможном наследовании смещений из данных предобучения.
Whisper Base Indonesian — дообученная модель OpenAI Whisper Base, созданная для распознавания индонезийской речи в аудио. Она основана на архитектуре Whisper и содержит 51,7 млн параметров. Модель обучена на индонезийской части Common Voice 16.0 и предназначена для преобразования речи в текст. На тестовой выборке указаны loss 0,4198 и WER 26,6078. Это значение WER следует учитывать при оценке пригодности модели для конкретной аудиозаписи и сценария. Модель принимает аудио и выдаёт распознанный текст; лицензия — Apache 2.0.
Whisper Base Turkish — дообученная модель OpenAI Whisper Base, созданная для распознавания турецкой речи в аудио. Она содержит 51,7 млн параметров и основана на архитектуре Whisper с генерацией последовательностей; обучалась на турецкой части датасета Mozilla Common Voice 16.0. Модель принимает аудио и выдаёт распознанный текст на турецком языке. На тестовой выборке указаны loss 0,4280 и WER 30,3627. Модель подходит для транскрибации турецкой речи, однако точность может зависеть от качества записи, акцента и условий записи. Распространяется по лицензии Apache-2.0.
durgesh10/whisper-large-v3-marathi — дообученная модель распознавания речи на основе OpenAI Whisper large-v3. Она содержит около 905,2 млн параметров и обучена на наборе Mozilla Common Voice 17.0. Модель принимает аудио и предназначена для преобразования речи в текст, с настройкой на маратхи. Модель доступна в формате Safetensors для библиотеки Transformers. Лицензия — Apache-2.0. README не сообщает результаты оценки качества и подробности об ограничениях, поэтому точность распознавания в разных условиях записи по карточке установить нельзя.
bayartsogt/whisper-small-mn-8 — дообученная модель семейства Whisper от разработчика bayartsogt на базе openai/whisper-small. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; в метаданных указаны датасеты Common Voice 11.0, FLEURS и два монгольских набора данных. Модель содержит 153,1 млн параметров и распространяется в формате PyTorch. В карточке приведены результаты оценки: WER 26,5185 и CER 9,4681. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Подробные инструкции по применению и ограничения в карточке не описаны.
nezamisafa/whisper-v3-turbo-persian-v1.0 — дообученная nezamisafa модель распознавания речи на основе openai/whisper-large-v3-turbo. Она преобразует аудио в текст и ориентирована на распознавание персидской речи. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и формат safetensors; для запуска доступна библиотека Transformers. Базовая мультиязычная модель также поддерживает перевод аудио в текст. Модель дообучена на Common Voice 17.0; в метаданных указан набор nezamisafa/ASR_fa_v1. В README приведены результаты на оценочной выборке: loss 0,3078 и WER 29,9382. Лицензия — MIT. Показатель WER указывает на заметные ошибки распознавания; карточка не уточняет условия оценки и не описывает дополнительные сценарии применения.
Это модель машинного перевода с английского на китайский, обученная с помощью fairseq и опубликованная для задачи оценки качества переводов WMT20 на наборе MLQE. Модель использовалась для создания переводов, которые затем применялись в этой задаче. Архитектура — FSMT для условной генерации текста; в репозитории размещён PyTorch-чекпойнт объёмом 25,2 млн параметров. Максимальный контекст составляет 1024 токена. Модель предназначена для перевода англоязычного текста на китайский; в метаданных также отмечены языки en и zh и датасеты WMT News Commentary, WikiTitles и UN Corpus. Чекпойнт конвертирован из исходного fairseq-чекпойнта в формат Transformers. Для использования указана лицензия CC BY-SA 4.0. README отсылает за дополнительными сведениями о параметрах и обучающих данных к связанным репозиториям.
AnuLM-Translate-400M — авторская карточка представляет модель как переводчик предложений между английским и хинди, созданный дообучением AnuLM-Base-400M на двух миллионах пар из корпусов Samanantar и IIT Bombay. В метаданных архитектура указана как AnuLMForCausalLM; это смесь экспертов с 397,7 млн параметров, из которых активно около 173,5 млн на токен. Модель принимает текст с обозначением направления перевода и генерирует перевод. Контекст составляет 512 токенов; токенизатор с байтовым BPE на 32 тысячи токенов обучен на английском, хинди и Python, но сама модель предназначена для перевода между английским и хинди. Подходит для перевода отдельных предложений, особенно повседневных фраз длиной примерно 8–25 слов. На тесте FLORES-200 указаны chrF 41,5 для перевода с английского на хинди и 43,4 для обратного направления. Модель хуже справляется с редкими именами, числами и длинными конструкциями; дообучение ухудшило способность базовой модели к свободной генерации и ответам на вопросы. Для загрузки через Transformers требуется trust_remote_code=True; карточка также предупреждает о падении качества при принудительном использовании bfloat16, не поддерживает дополнение последовательностей в батчах и поиск по лучам. Лицензия CC BY-NC 4.0, некоммерческое использование.
Llama-3.2-1B-Baoule-Instruct-V3 — компактная текстовая модель Tree AI Labs, дообученная на базе meta-llama/Llama-3.2-1B-Instruct. Она предназначена для диалогов, выполнения инструкций и генерации текста с упором на язык бауле, а также на сценарии перевода между бауле и французским. README описывает поддержку диалога и понимания языка бауле; метаданные также указывают французский и английский языки. Репозиторий содержит веса Safetensors и квантированную версию GGUF Q4_K_M для запуска через Transformers и llama.cpp. Модель ориентирована на развитие NLP для низкоресурсных африканских языков и может применяться в чат-ботах, образовательных инструментах и сервисах на языках Кот-д’Ивуара. Лицензия — Llama 3.2. Доступные материалы не приводят количественных оценок качества; заявленные возможности перевода и рассуждения следует считать описанием разработчика.
Модель panagoa/nllb-200-1.3b-kbd-pretrain — предварительно дообученная для кабардинского языка версия NLLB-200 от Meta AI. Она предназначена для перевода на кабардинский и с него, а также для дальнейшей настройки под конкретные задачи и исследований низкоресурсного машинного перевода. Модель основана на архитектуре M2M-100, содержит 680,4 млн параметров и поддерживает перевод между языками семейства NLLB-200; контекст — до 1024 токенов по метаданным. Вариант ориентирован на улучшение перевода с участием кабардинского языка и может быть полезен в проектах сохранения языка и культурного наследия. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка рекомендует дополнительно дообучать модель для конкретных задач и указывает, что она оптимизирована для отдельных предложений, а не документов. Качество может снижаться на специализированных текстах, диалектах и культурных контекстах; переводы не являются сертифицированными. README приводит ограничение обучения последовательностями до 512 токенов, тогда как метаданные указывают длину контекста 1024 токена.
Flaglab, лаборатория Universidad de los Andes, разработала эту двунаправленную модель машинного перевода между испанским и каментса — языком коренного народа Колумбии. Это дообученная версия facebook/nllb-200-distilled-600M с архитектурой M2M100 и расширенным токенизатором SentencePiece, содержащим специальный словарь каментса. Модель предназначена для перевода текста с испанского на каментса и обратно; в карточке указана длина контекста 1024 токена и 464 млн параметров. На тестовой выборке качество составило BLEU 6,36 и chrF2 27,72 для перевода с испанского на каментса, а в обратном направлении — BLEU 4,31 и chrF2 22,95. Эти результаты указывают на ограниченную точность, особенно при переводе с каментса на испанский, поэтому переводы следует проверять носителем языка. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
OPUS-MT-tiny-deu-eng — компактная модель машинного перевода, разработанная Helsinki-NLP. Это дистиллированная ученическая модель архитектуры MarianMT: она обучена на данных Tatoeba имитировать учительскую модель OPUS-MT-models/de-en/opus-2020-02-26 и содержит около 14,5 млн параметров. Модель переводит текст с немецкого на английский; в репозитории доступны веса Safetensors и TFLite. Максимальная длина контекста — 256 токенов. Модель рассчитана на локальный перевод коротких фраз и предложений, например пользовательских сообщений или текстов для многоязычных приложений. В README приведены результаты на Flores+ и Bouquet: для ученической модели BLEU составляет 37,6 на обоих наборах. Эти оценки относятся к указанным тестовым наборам и не гарантируют качество на других тематиках или длинных текстах. Лицензия — Apache-2.0.
OPUS-MT-tiny-spa-eng — компактная модель машинного перевода семейства Marian, разработанная Helsinki-NLP. Она переводит текст с испанского на английский и построена как ученическая модель с архитектурой tiny, обученная методом дистилляции на данных Tatoeba под руководством более крупной модели-преподавателя. Для загрузки доступны веса в форматах Safetensors и TFLite; модель также совместима с Marian. Размер составляет 14,5 млн параметров, длина контекста — 256 токенов. Модель предназначена для перевода отдельных фраз и коротких текстов, в том числе пользовательских текстов и материалов, похожих на данные Tatoeba. В карточке приведены результаты на наборах Flores+ и Bouquet: ученическая модель уступает модели-преподавателю по BLEU на обоих наборах, поэтому качество перевода может быть ниже, чем у более крупной версии. Лицензия — Apache-2.0.
Teluteru разработала эту модель как дообученную на Qwen/Qwen3.5-4B-Base систему перевода технических текстов с английского на японский. Она предназначена для материалов по глубокому обучению, языковым моделям, робототехнике и моделям vision-language-action. Модель использует плотную мультимодальную архитектуру Qwen3.5 с 4 млрд параметров; в репозитории опубликованы объединённые BF16-веса в формате Hugging Face Safetensors. Для запуска применяется библиотека Transformers, а для Apple Silicon описана конвертация в MLX 4-bit. По оценке на синтетических данных модель улучшила chrF++ с 37,81 до 66,66 на тестовой выборке; точность терминологии на проверочной выборке составила 0,80. Она обучалась на последовательностях длиной 2048 токенов с отключённым режимом рассуждений. Лицензия — Apache-2.0. Модель подходит для чернового перевода технических материалов, но результаты требуют проверки: корпус и эталонные переводы синтетические, терминология может звучать неестественно, а сохранение чисел и математических выражений не гарантировано. Модель не проверялась для языковых пар, отличных от английского и японского, или для управления роботами в критичных к безопасности сценариях.
Dhahlan2000 әзірлеген Simple_Translation-model-for-GPT-v11 — T5 архитектурасындағы 38,5 млн параметрлі мәтіннен мәтінге модель. Ол Dhahlan2000/Simple_Translation-model-for-GPT-v10 моделін белгісіз деректер жиынында қосымша оқыту арқылы жасалған және аудармаға арналған. Контекст ұзындығы — 512 токен, салмақтары safetensors форматында берілген. Бағалау жиынында модельдің loss көрсеткіші 0,4043, BLEU көрсеткіші 13,2694, ал орташа генерация ұзындығы 18,53 токен болған. README нақты тіл жұптарын, деректер жиынын, қолдану шектеулерін немесе лицензияны сипаттамайды; сондықтан модельді қолданар алдында нақты аударма сапасын өз деректеріңізде тексеру қажет.
BuzzASR — Sorani Kurdish — это одноязычная модель распознавания речи на курдском языке сорани, разработанная как часть набора BuzzASR из 102 специализированных ASR-моделей. Она основана на openai/whisper-large-v3 и полностью дообучена с заменой токенизатора для языка и дополнительным мультитасковым обучением на текстовых данных. Модель содержит 907,3 млн параметров и принимает аудио, выдавая текстовую расшифровку. Модель предназначена для транскрибации речи на сорани. В тестах FLEURS и Common Voice 25 модель показала CER 9,68% и 3,58% соответственно; на объединённом тестовом наборе CER составил 7,43%, а WER — 26,43%. Модель лицензирована по MIT. Модель рассчитана только на сорани; качество может отличаться на других предметных областях и диалектах. Оценка проводилась на тестовых выборках FLEURS и Common Voice.
0xSojalSec выпустил модифицированную версию Tencent Hy-MT2-30B-A3B для многоязычного машинного перевода. Это MoE-модель семейства Hy-V3 с архитектурой HYV3ForCausalLM; в метаданных указано 2,7 млрд параметров и контекст до 262 144 токенов. Модель принимает текстовые инструкции и переводит между поддерживаемыми языками, включая сценарии с деловой и специализированной лексикой и следованием инструкциям. Веса прошли abliteration: README сообщает о существенном снижении защитного выравнивания. Это может быть полезно для исследований безопасности, red teaming и экспериментов с поведением моделей, но повышает вероятность вредных, неточных, предвзятых или оскорбительных ответов. Модель распространяется под лицензией Apache-2.0; автор карточки рекомендует исследовательское применение и не советует развёртывать её в публичных сервисах.
WindyTranslate/translate-alv-en — модель машинного перевода от Windstorm Labs, созданная на основе Helsinki-NLP/opus-mt-alv-en. Это дообученная модель семейства MarianMT с 56,7 млн параметров: LoRA-дообучение на параллельных данных объединено с базовыми весами. Модель принимает текст на языке с кодом alv и переводит его на английский; для загрузки доступна сборка Transformers в формате safetensors. Контекст составляет 512 токенов. Модель предназначена для перевода текста с alv на английский в приложениях на базе Transformers. Качество этой версии не оценивалось на бенчмарках, поэтому её пригодность для конкретных текстов следует проверять отдельно. Лицензия — Apache-2.0.
Windstorm Labs публикует модель машинного перевода с языков банту на английский. Это дообученная версия Helsinki-NLP/opus-mt-bnt-en на основе параллельных корпусов: LoRA-адаптация объединена с базовыми весами. Модель построена на архитектуре Marian и содержит 56,8 млн параметров; её естественная длина контекста — 512 токенов. Репозиторий содержит сборку Transformers в формате safetensors. Модель предназначена для перевода текста с языков банту на английский. Она поддерживает только это направление перевода. Качество этой версии не оценивалось бенчмарками, поэтому точность результатов не подтверждена. Лицензия — Apache-2.0.
WindyTranslate/translate-chk-sv — модель машинного перевода, опубликованная Windstorm Labs для перевода с языка чукот (chk) на шведский (sv). Это дообученная версия Helsinki-NLP/opus-mt-chk-sv: LoRA-адаптация на параллельном корпусе была объединена с базовыми весами. Модель MarianMT содержит 55,3 млн параметров, принимает текст и работает с контекстом до 512 токенов. Модель предназначена для однонаправленного перевода с чукотского на шведский и доступна в формате safetensors для Transformers. Качество перевода пока не оценивалось бенчмарками, поэтому пригодность для конкретного сценария следует проверять отдельно. Лицензия — Apache-2.0.
WindyTranslate/translate-en-lus — модель машинного перевода с английского языка на мизо, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-en-lus на параллельных текстах: LoRA-адаптер объединён с базовыми весами. Модель построена на архитектуре Marian и содержит 50,5 млн параметров; доступна в формате Safetensors для Transformers. Контекст — до 512 токенов. Модель предназначена для перевода текстов с английского на мизо. В карточке приведён скрининговый результат на 48 предложениях FLORES-200: chrF++ 23,39 и BLEU 4,38; авторы относят оценку к ограниченному диапазону и подчёркивают, что она не является результатом публикационного исследования. Модель поддерживает только направление en→lus, поэтому качество следует проверять на собственных текстах. Лицензия — Apache-2.0.
WindyTranslate/translate-en-map — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с английского на австронезийские языки. Она основана на Helsinki-NLP/opus-mt-en-map: к исходным весам применили LoRA-дообучение на параллельном корпусе и объединили адаптер с базовой моделью. Модель использует архитектуру MarianMT, содержит 55,9 млн параметров и работает с контекстом до 512 токенов. Репозиторий включает сборку Transformers в формате safetensors; лицензия — Apache-2.0. Качество перевода пока не оценивалось, поэтому пригодность модели для конкретных языков и сценариев следует проверять отдельно.
WindyTranslate/translate-eo-it — модель машинного перевода Windstorm Labs для перевода с эсперанто на итальянский. Это дообученная версия Helsinki-NLP/opus-mt-eo-it: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель построена на архитектуре MarianMT, содержит 28,9 млн параметров и принимает текстовые последовательности с контекстом до 512 токенов, выдавая перевод текстом. Модель предназначена для перевода текстов с эсперанто на итальянский; других направлений README не заявляет. В скрининговой оценке FLORES-200 на 48 предложениях результат составил chrF++ 27,75 и BLEU 5,10, что авторы относят к ограниченному диапазону; эта небольшая выборка не даёт надёжной оценки качества на широком наборе текстов. Репозиторий распространяется по лицензии Apache-2.0.
Модель WindyTranslate/translate-eo-pl — компактная модель машинного перевода с эсперанто на польский язык, опубликованная Windstorm Labs. Она основана на Helsinki-NLP/opus-mt-eo-pl: к исходным весам применили LoRA-дообучение на параллельных текстах и объединили адаптер с базовой моделью. Модель использует архитектуру MarianMT, содержит 28,9 млн параметров и принимает текст для перевода в одном направлении: с эсперанто на польский. Она рассчитана на перевод отдельных фраз и текстов; максимальный контекст составляет 512 токенов. Репозиторий содержит веса Safetensors для использования с Transformers. В короткой проверке на 48 предложениях FLORES-200 модель получила chrF++ 21,87 и BLEU 1,26; авторы относят результат к ограниченному диапазону. Такая оценка даёт лишь предварительное представление о качестве. Лицензия — Apache-2.0.
Windstorm Labs опубликовала модель машинного перевода с испанского языка на креольский язык Сейшельских островов (crs). Это дообученная версия Helsinki-NLP/opus-mt-es-crs на параллельных текстовых данных: LoRA-адаптер объединён с базовыми весами. Модель построена на архитектуре Marian и содержит 49,4 млн параметров; для загрузки доступны веса Safetensors в Transformers, лицензия — Apache-2.0. Модель предназначена для перевода текста только в направлении с испанского на креольский язык Сейшельских островов. Качество этой версии не оценивалось на бенчмарках; подтверждено изменение весов относительно исходной модели, но это само по себе не подтверждает качество перевода.