I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейworldboss/en-ee-from-scratch — модель машинного перевода с английского языка на эве, разработанная автором репозитория. Это обученная с нуля encoder–decoder модель на PyTorch с архитектурой Pre-LN, 6 слоями и размерностью 512; словарь BPE-токенизатора содержит 32 000 токенов, а размер модели составляет 38,4 млн параметров. Модель предназначена для перевода английских фраз и вопросов на эве. В обучающие данные вошли вопросы и ответы для фермеров в Гане, пары английский–эве из NLLB и параллельные библейские тексты из корпуса ghananlpcommunity/ghana-corpus. Для работы нужен checkpoint best.pt и скрипт translate.py из репозитория обучения; модель не совместима с Transformers AutoModelForSeq2SeqLM. Лицензия — CC-BY-NC-4.0, а указанные обучающие данные имеют лицензию CC-BY-NC.
Liujgoj-Cantonese-Qwen2.5-Omni-7B-SFT — модель Yvthyvq, полученная supervised fine-tuning базовой Liujgoj-Cantonese-Qwen2.5-Omni-7B-CPT. Это плотная модель семейства Qwen2.5-Omni Thinker с 7 млрд параметров, предназначенная для генерации текста на кантонском языке и работы с системой записи Liujgoj Cantonese Orthography. Модель преобразует разговорный кантонский текст в иероглифах в романизацию Liujgoj и обратно, разбивает слитные строки Liujgoj на слоги и учитывает контекст при восстановлении написания. Эти возможности могут служить языковой основой для подготовки данных и обучения речевых систем; сама карточка описывает текстовые задачи, а не распознавание или синтез речи. Модель принимает и генерирует текст, ориентирована на кантонский язык и доступна под лицензией Apache-2.0. В README отмечено, что это промежуточный этап обучения серии, а работа с аудио и ASR планируется как следующий этап; подтверждённые задачи ограничены текстовой генерацией.
jhk/opus-mt-tc-big-wiki-en-ko — модель машинного перевода на архитектуре MarianMT с 133,4 млн параметров. По названию репозитория модель предназначена для перевода с английского на корейский; она принимает текст и выдаёт текст. Метаданные указывают задачу translation и формат PyTorch. README сообщает, что модель обучалась с нуля, но не содержит сведений о датасете или предполагаемых сценариях применения. В карточке приведены результаты оценки: loss 3,3008 и BLEU 7,8420, что указывает на ограниченное качество перевода в использованной оценке. Лицензия не указана в доступных данных.
Hausa Whisper Small - Saad — модель распознавания речи, созданная дообучением Whisper Small от OpenAI на Common Voice 13. Она преобразует аудио на хауса в текст и подходит для транскрибирования записей и проверки распознавания речи на этом языке. Архитектура — WhisperForConditionalGeneration; модель содержит 153,1 млн параметров и распространяется в формате Safetensors. На тестовом наборе указаны WER 44,41 и орфографический WER 47,71. Эти результаты характеризуют оценку на Common Voice 13 и не гарантируют такое же качество на других типах аудио. Лицензия — Apache-2.0.
Sanskrit-qwen-7B-Translate-v2 — дообученная с помощью LoRA модель на базе Qwen/Qwen2.5-7B-Instruct, разработанная для перевода и транслитерации санскритских текстов. Она преобразует текст на санскрите в письме деванагари в латиницу IAST, переводит с санскрита на английский и с английского на санскрит. Модель построена на плотной архитектуре Qwen2 с 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель рассчитана на учебную и исследовательскую работу с классическими санскритскими текстами, подготовку двуязычных материалов и оцифровку рукописей. В карточке отмечены чатовый формат, адаптированный датасет и оптимизация LoRA; лицензия — Apache-2.0. Качество зависит от сложности текста, а результаты перевода важных фрагментов следует проверять. Карточка характеризует модель как экспериментальную и предупреждает о возможных смещениях в данных и специализации преимущественно на классическом санскрите.
WindyTranslate/translate-de-gil — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная модель архитектуры MarianMT с 52,6 млн параметров, основанная на Helsinki-NLP/opus-mt-de-gil. LoRA-дообучение на параллельных текстах было объединено с базовыми весами; модель принимает текст на немецком языке и переводит его на язык gil. Максимальная длина контекста — 512 токенов. Репозиторий содержит сборку Transformers в формате safetensors; модель можно использовать для перевода текстов с немецкого на gil. Лицензия — Apache-2.0. Качество перевода пока не оценивалось на бенчмарках, поэтому пригодность модели для конкретных сценариев требует проверки. Поддерживается только направление de→gil.
Windstorm Labs опубликовала модель машинного перевода с английского языка на bzs. Это дообученная версия Helsinki-NLP/opus-mt-en-bzs на архитектуре MarianMT: LoRA-адаптер обучили на параллельном корпусе и объединили с базовыми весами. Модель содержит 49,7 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Репозиторий содержит сборку Transformers в формате safetensors; лицензия — Apache-2.0. Модель предназначена для перевода англоязычных фраз и текстов на bzs. Выход проверяли на соответствие заявленному языку, но качество перевода ещё не оценено; поддерживается только направление en→bzs.
Windstorm Labs выпустила модель машинного перевода с английского на мосси (Mossi, код mos), основанную на Helsinki-NLP/opus-mt-en-mos. Это дообученная модель архитектуры MarianMT с 49,2 млн параметров; LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель доступна в формате safetensors для Transformers, её контекст составляет 512 токенов. Модель предназначена для перевода текстов с английского на мосси; другие направления перевода в карточке не заявлены. В проверке на 48 предложениях FLORES-200 dev указаны chrF++ 17,19 и BLEU 0,95, с оценкой уровня Limited. Результат является предварительной проверкой, а не публикационной оценкой, поэтому качество перевода может быть ограниченным. Лицензия — Apache 2.0.
Windstorm Labs опубликовала модель машинного перевода с финского языка на гаитянский креольский. Это дообученная версия Helsinki-NLP/opus-mt-fi-ht: LoRA-адаптер обучили на параллельных текстах и объединили с базовыми весами. Модель построена на архитектуре MarianMT, содержит 50,4 млн параметров и принимает текст; максимальная длина контекста — 512 токенов. Модель предназначена для перевода с финского на гаитянский креольский. В проверке на 48 предложениях FLORES-200 она получила chrF++ 23,36 и BLEU 2,42; авторы относят результат к ограниченному качеству и подчёркивают, что это предварительная оценка. Поддерживается только одно направление перевода. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.
WindyTranslate/translate-fi-zne — модель машинного перевода, опубликованная Windstorm Labs и основанная на Helsinki-NLP/opus-mt-fi-zne. Это дообученная модель семейства Marian, построенная на архитектуре MarianMTModel и содержащая 53,2 млн параметров. Она принимает текст на финском языке и переводит его на язык, обозначенный кодом zne; доступна для Transformers в формате safetensors, а контекст составляет до 512 токенов. Windstorm Labs применили LoRA-дообучение на параллельном корпусе и объединили адаптер с исходными весами; изменены 36 из 254 тензоров. Модель предназначена для перевода текста в одном направлении — с финского на zne. Качество перевода ещё не оценивалось, поэтому пригодность для конкретного сценария следует проверять отдельно. Лицензия — Apache-2.0.
greenw0lf/wav2vec2-large-xls-r-1b-frisian — модель автоматического распознавания речи на архитектуре Wav2Vec2ForCTC, созданная дообучением facebook/wav2vec2-xls-r-1b на Common Voice 13.0. Модель предназначена для преобразования речи на фризском языке в текст. В карточке приведён результат оценки на тестовом наборе: WER 0,1493 и loss 0,2204. Модель содержит около 1,3 млрд параметров и представлена в формате PyTorch; она принимает аудио и выдаёт текстовую транскрипцию. Лицензия — Apache-2.0. Карточка не описывает дополнительные сценарии применения или ограничения качества.
wav2vec2-large-xlsr-53-maltese-64h — акустическая модель для автоматического распознавания речи на мальтийском языке. Её разработал Карлос Даниэль Эрнандес Мена в рамках проекта MASRI Университета Мальты; модель дообучена на facebook/wav2vec2-large-xlsr-53 примерно на 64 часах мальтийских аудиоданных. Архитектура — Wav2Vec2ForCTC, число параметров — около 402,7 млн; модель доступна в формате PyTorch. Модель предназначена для преобразования мальтийской речи в текст и обучена на записях из нескольких корпусов MASRI, а также Common Voice. Её можно использовать для транскрибирования речи, записанной в гарнитуру, в дальней среде и в кабинах звукозаписи. Лицензия CC BY-NC-SA 4.0 требует указания авторства, ограничивает коммерческое использование и распространяет аналогичные условия на производные материалы.
Модель lucio/wav2vec2-large-xlsr-kinyarwanda — акустическая модель распознавания речи на киньяруанда, созданная Lucio и дообученная на основе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC с 402,7 млн параметров и обучалась на части корпуса Common Voice: примерно 100 тысяч аудиозаписей, около 20% доступных данных, отфильтрованных по оценкам и длительности. Для входного аудио требуется частота дискретизации 16 кГц. Модель преобразует речь в текст без знаков препинания; в частности, она не выводит апострофы, используемые для обозначения стяжений в киньяруанда. В README приведён результат 40,59% на тестовых данных Common Voice. Модель подходит для распознавания коротких высказываний на киньяруанда, но указанная оценка и фильтрация обучающих данных ограничивают основания ожидать такие же результаты на других типах записи и речи. Распространяется по лицензии Apache-2.0.
efwkjn/whisper-ja-760M — японская дообученная версия Whisper, рассчитанная на распознавание речи в общих и аниме-сценариях. Модель содержит около 852 млн параметров и использует архитектуру WhisperForConditionalGeneration; принимает аудио и генерирует текстовую транскрипцию на японском языке. Модель дообучена от Whisper large-v3-turbo с сокращённым словарём токенов. Обучение проводилось на корпусе объёмом около 45 000 часов с аугментациями и настройкой смешивания данных для поддержки длинных записей и временных меток. По описанию автора, модель конкурентоспособна на тестовых наборах, лучше модели на 1,5 млрд параметров на коротких фрагментах, но уступает на длинных; качество распознавания текстов песен не проверено. Для faster-whisper требуется CTranslate2 версии 4.7.1 или новее из-за изменений словаря. В движках с жёстко заданным размером словаря может потребоваться дополнить token embedding. В README предложены инструкции использования openai/whisper-large-v3-turbo. Лицензия в предоставленных данных не указана.
whisper-large-v2-taiwanese-hakka-v1 — дообученная модель распознавания речи на основе openai/whisper-large-v2, размещённая автором в gated-репозитории Hugging Face. Она предназначена для преобразования аудио на тайваньском хакка в текст. Модель использует архитектуру Whisper Large v2 и библиотеку Transformers; обучение проводилось с размером батча 2 на 4 GPU L40S, накоплением градиентов 64 шага и общим числом 3828 шагов. Для использования требуется запросить доступ к репозиторию и войти в Hugging Face с учётной записью, которой доступ предоставлен. Лицензия CC BY-NC 4.0 разрешает использование на условиях указания авторства и ограничивает коммерческое применение. Модель ориентирована на распознавание тайваньского хакка; сведений о длине контекста и показателях качества в доступной карточке нет.
Rekody/whisper-large-v3-turbo-kalenjin — модель автоматического распознавания речи на языке календжин, созданная дообучением openai/whisper-large-v3-turbo с помощью LoRA и последующим объединением адаптера с базовыми весами. Модель содержит 905,2 млн параметров и доступна в формате safetensors для Transformers. Она преобразует аудио в текст на календжин, с данными обучения для диалектов кипсигис и нанди. Для распознавания при запуске указывают language="sw": в токенизаторе Whisper нет языкового токена календжин, поэтому используется токен суахили, а результат выдаётся на календжин. В README приведена оценка на отложенном наборе из 198 аудиофрагментов; модель превзошла предыдущую лучшую настройку Whisper для календжин в рамках указанной оценки. Модель лучше подходит для начитанной речи, похожей на обучающие данные; спонтанная речь и выраженные акценты распознаются хуже. Диалекты, отличные от кипсигис и нанди, в обучающих данных не представлены, а результаты оценки ещё ожидают проверки носителями языка. Лицензия модели — MIT.
nahomazmach/whisper-small-ha — модель распознавания речи на хауса, созданная дообучением openai/whisper-small на конфигурации ha_ng набора Google FLEURS. Обучение проходило три эпохи на 3259 аудиозаписях; для тестирования использовались 621 запись. Модель принимает аудио и выдаёт текстовую расшифровку на хауса. Она предназначена для транскрибирования речи на этом языке; в README приведён тестовый WER 44,68%. Модель основана на архитектуре Whisper и распространяется в формате safetensors по лицензии Apache-2.0.
Whisper Small, дообученная командой WAXALNet на корпусе WAXAL для автоматического распознавания разговорной речи на лингала. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров по метаданным; в README приведена оценка 244 млн. Репозиторий использует библиотеку Transformers и формат safetensors. Модель предназначена для транскрибирования спонтанной разговорной речи на лингала, в том числе аудио, записанного в естественной среде. Её оценивали на тестовой выборке WAXAL и частично на FLEURS; для WAXAL указаны WER 42,7% и CER 21,7%. Она может применяться в исследованиях и задачах распознавания речи для малоресурсных языков. Лицензия модели — Apache-2.0; обучающие данные WAXAL распространяются по CC-BY 4.0.
geninhu/xls-asr-vi-40h — модель распознавания речи на вьетнамском языке, созданная дообучением facebook/wav2vec2-xls-r-300m на Common Voice 7.0 (раздел vi) и частном наборе данных. Модель использует архитектуру Wav2Vec2ForCTC и содержит 403,4 млн параметров; опубликованные веса представлены в формате PyTorch. Модель преобразует аудио в текст и подходит для транскрибации вьетнамской речи, в том числе записей, похожих на данные Common Voice. В README приведён результат оценки без языковой модели: WER 60,58 и loss 1,1177. Эти показатели указывают на заметные ошибки распознавания и не гарантируют качество на других данных. Модель распространяется по лицензии Apache-2.0.
Модель simpleverso/espzap-nllb-600m разработана Гонсало Сантьяго Мартинесом для перевода с испанского языка на истмийский сапотекский (ди́идхаса, Diidxazá). Она основана на facebook/nllb-200-distilled-600M и дообучена методом LoRA, после чего адаптер объединён с базовой моделью. Поскольку предобученная модель машинного перевода для Diidxazá отсутствует, для целевого языка переиспользуется языковой тег ayr_Latn; модель специально обучена выдавать на нём текст на сапотекском. Число параметров — 463,7 млн, контекст — до 1024 токенов. Доступны форматы Safetensors и ONNX; лицензия CC BY-NC 4.0 запрещает коммерческое использование. Модель предназначена для перевода повседневных фраз с испанского на Diidxazá. Обучение выполнено на 18 452 параллельных парах; на отложенной тестовой выборке указаны BLEU 6,4 и chrF 37,7. Качество ограничено небольшим объёмом данных и наличием непроверенных примеров; перевод длинных и литературных текстов менее надёжен.
cyboghostginx представил дообученную версию Google Gemma 4 31B Instruction Tuned, настроенную для исландской морфологии и грамматики. Это плотная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration, предназначенная для генерации текста и диалогового использования через шаблон чата Gemma. Репозиторий содержит веса Safetensors и рассчитан на запуск через Transformers на GPU. В официальном прогоне на таблице лидеров исландских LLM Miðeind модель получила средний балл 70,09 по шести задачам; базовая Gemma 4 31B Instruction Tuned набрала 71,24. Локальный средний результат по пяти задачам при отключённом режиме рассуждений составил 83,59. Модель распространяется по лицензии Gemma; применимость условий лицензии следует проверять перед использованием.
Mitra Qwen3.5 2B Base Stage 2 — компактная модель семейства Dharmamitra, разработанная для работы с классическими буддийскими текстами. Она основана на Qwen3.5-2B, прошла дополнительное предобучение примерно на 45 млрд токенов буддийских корпусов, а затем дообучение SFT второго этапа с упором на переводческие возможности. Модель предназначена для двустороннего перевода и выполнения переводческих запросов; её можно использовать, когда 9B-вариант слишком требователен к ресурсам. Модель имеет плотную авторегрессионную архитектуру Qwen3.5, содержит 1,7 млрд параметров и принимает текст, выдавая текст. Метаданные указывают контекстное окно до 262 144 токенов; в README для дополнительного предобучения указан контекст 8 000 токенов. В карточке заявлена работа с тибетским, санскритом и пали, а метаданные также содержат теги китайского, английского и немецкого языков. Для тибетского используются транслитерация Wylie, для санскрита и пали — IAST. Модель доступна под лицензией Apache-2.0.
KyawSu/nllb-en-my-workplace-safety — модель машинного перевода с английского на бирманский язык, созданная дообучением facebook/nllb-200-distilled-600M на параллельном корпусе ALT общего новостного домена. Проект разработан как демонстрационная работа по NLP и исследует возможность перевода сообщений для мигрантов из Мьянмы, работающих в Сингапуре. Модель принимает текст на английском и выдаёт перевод на бирманском. В карточке указано контекстное окно 1024 токена. На случайной выборке из 100 предложений тестовой части ALT модель получила chrF 53,05 и пользовательскую символьную BLEU 58,93; стандартная BLEU на той же выборке составила около 11,6, что автор связывает с особенностями сегментации бирманского письма. Модель не обучалась на материалах по охране труда и не проверялась профессиональными или носителями бирманского языка. Её переводы не сверялись с терминологией Министерства трудовых ресурсов Сингапура. Для сообщений, связанных с безопасностью, требуется проверка квалифицированным носителем языка. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
TinyLlama-1.1B-MT-SFT — дообученная модель семейства Llama, созданная на основе TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T на датасете sardinelab/MT-pref. Модель предназначена для перевода текста; её архитектура — плотная авторегрессионная LlamaForCausalLM с примерно 1 млрд параметров. Модель принимает и генерирует текст, имеет контекстное окно 2048 токенов. Карточка не описывает поддерживаемые языки, качество перевода или результаты оценки. Распространяется по лицензии Apache-2.0.
Модель cahya/wav2vec2-luganda разработана для конкурса Mozilla по автоматическому распознаванию речи на языке луганда. Это дообученная на Luganda Common Voice версии 7.0 модель facebook/wav2vec2-large-xlsr-53 с архитектурой Wav2Vec2ForCTC и примерно 402,7 млн параметров. Она принимает аудио и преобразует речь в текст; для входной речи требуется частота дискретизации 16 кГц. В README приведены результаты оценки на тестовой выборке Common Voice: WER 15,38% без KenLM и 7,53% с KenLM. Модель предназначена для распознавания речи на лугандском, а не для задач общего назначения. Распространяется по лицензии Apache-2.0.
Werea-TR-TextRestore — турецкая модель для восстановления диакритических знаков в тексте, записанном ASCII-символами. Она дообучена разработчиками Werea на базе google/mt5-small и предназначена для преобразования турецких фраз, например восстановления букв и апострофов в именах и географических названиях. Модель построена на архитектуре mT5 и содержит 157,4 млн параметров. README сообщает о тестировании на отложенной выборке реальных новостных предложений TR-News и точности на уровне слов 96,5%. Для запуска через Transformers используется задача text2text-generation и префикс «şapka: ». Модель опубликована в формате safetensors под лицензией MIT.
arun100/whisper-base-bn-3 — модель автоматического распознавания речи на архитектуре Whisper, дообученная на бенгальской части набора Mozilla Common Voice 16.0. Она принимает аудио и генерирует текстовую расшифровку; размер модели составляет 51,7 млн параметров. В оценке на тестовом наборе указаны loss 0,2151 и WER 29,9236. Модель подходит для транскрибации бенгальской речи, в том числе записей, близких по характеру к данным Common Voice. Это дообученная версия arun100/whisper-base-bn, распространяемая в формате Safetensors по лицензии Apache-2.0. Показатель WER указывает, что расшифровки могут содержать ошибки; сведений о поведении на других языках и типах аудио в карточке нет.
Whisper Small Arabic — дообученная модель распознавания речи на основе openai/whisper-small, созданная автором arun100 на арабской части датасета Mozilla Common Voice 16.0. Она предназначена для преобразования арабской речи в текст и может применяться для транскрибирования записей и голосовых сообщений. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и распространяется в формате safetensors. На оценочной выборке указаны loss 0,4005 и WER 58,9073; высокий WER указывает на заметные ошибки распознавания. Модель лицензирована по Apache-2.0.
samolusola-personal/whisper-small-combined-lin-sna-lug-olusola — дообученная модель распознавания речи на базе openai/whisper-small. Она предназначена для преобразования аудио в текст; в названии указаны языки лингана, чичева и луганда. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors. В метаданных указаны библиотека Transformers и лицензия Apache-2.0. В README приведены результаты оценки: WER 0,3443, CER 0,1257 и loss 0,5546. Описание обучения, набор данных, сценарии использования и ограничения в карточке не раскрыты; эти метрики сами по себе не дают полной картины качества распознавания на разных аудио и языках.
M9and2M/whisper-small-wolof — модель автоматического распознавания речи на волоф, созданная разработчиком M9and2M путём дообучения Whisper-small от OpenAI. Она преобразует аудио на волоф в текст и предназначена для транскрибирования записей на этом языке. Модель основана на архитектуре Whisper и содержит 153,1 млн параметров. Для обучения использован набор M9and2M/Wolof_ASR_dataset: 57 часов обучающих и 10 часов тестовых аудиозаписей; в описании указаны WER 0,17 и loss 0,123. Репозиторий содержит веса в формате safetensors. Модель подходит для транскрибирования коротких записей на волоф. README сообщает, что при подготовке данных оставляли аудио длительностью менее шести секунд, поэтому качество на длинных записях отдельно не подтверждено. Лицензия — MIT.