I.6Перевод и языковая адаптация
В разделе собраны самостоятельные задачи, где AI помогает переносить смысл между языками, форматами и культурными контекстами. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
16 710 моделейwhisper-small-yoruba-07-17 — модель распознавания речи, созданная дообучением Whisper Small от OpenAI. Она принимает аудио и предназначена для автоматической транскрибации; название модели указывает на настройку для йоруба. Веса представлены в формате safetensors, размер модели — 153,1 млн параметров. В карточке приведены результаты оценки: WER 25,6765 и орфографический WER 34,5068. Описание набора данных, сценариев применения и известных ограничений в README не раскрыто. Модель распространяется по лицензии Apache-2.0.
zongxiao/whisper-small-zh-CN — дообученная модель автоматического распознавания речи на базе мультиязычной Whisper Small от OpenAI. Она обучена на Common Voice 13 и предназначена для транскрибирования аудио на китайском языке. Модель содержит 153,1 млн параметров и распространяется в формате PyTorch по лицензии Apache-2.0. В README приведены результаты оценки на тестовой выборке: WER 76,20 и орфографически нормализованный WER 73,97; обучение оценивалось на шаге 1500, после 0,6 эпохи. Эти показатели указывают на существенные ошибки распознавания, поэтому пригодность для конкретных записей следует проверять отдельно.
EastAsia-4x7B-Moe-experiment — экспериментальная языковая модель семейства Mixtral, созданная с помощью LazyMergekit как смесь экспертов из моделей Breeze-7B-Instruct-v0.1, shisa-7b-v1 и OPEN-SOLAR-KO-10.7B. Модель предназначена прежде всего для генерации текста и перевода на китайском, японском и корейском языках: маршрутизация экспертов настроена на соответствующие запросы о переводе. Архитектура — MoE с классом MixtralForCausalLM; в репозитории указано 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель может использоваться для генерации ответов и переводов на восточноазиатских языках, однако README приводит лишь ограниченные результаты общих бенчмарков и не подтверждает качество перевода или пригодность для конкретных сценариев. Лицензия — Apache-2.0.
Horus Hiero Mini 4B — мультиязычная модель TokenAI на архитектуре Qwen3.5, предназначенная для понимания и перевода древнеегипетских иероглифов на современные языки. Она также поддерживает многоязычный диалог и заявлена для работы со 150 языками. По карточке, модель содержит около 4 млрд параметров; метаданные указывают 3,4 млрд и контекст до 524 288 токенов. Основной формат репозитория — Safetensors; для локального развёртывания также описаны варианты GGUF с разной квантизацией. Модель принимает текст, изображения и видео и выдаёт текст. Заявленный контекст позволяет работать с длинными материалами, а специализированное назначение делает её подходящей для перевода и изучения иероглифических текстов. Карточка приводит результаты нескольких бенчмарков, но не описывает методику их получения. Лицензия в предоставленных данных не указана.
indo-t5-base-v2 — модель LazarusNLP, дообученная на базе google/mt5-base на наборе lazarus-project/alkitab-sabda-mt. Это генеративная модель архитектуры mT5 с примерно 291,2 млн параметров, предназначенная для преобразования текста в текст. В репозитории доступны веса PyTorch и safetensors. Модель обучалась на данных alkitab-sabda-mt и оценивалась по потере и метрике BLEU; результаты на оценочной выборке составили 1,5099 и 15,1824 соответственно. Название датасета указывает на религиозные тексты, однако README не описывает точные языки и сценарии перевода, поэтому их нельзя установить по имеющимся данным. Модель распространяется по лицензии Apache-2.0.
Jisr-WordAlign-29M — модель на базе энкодера арабско-английского машинного перевода Jisr, разработанная oddadmix и дообученная с нуля в рамках этой задачи для выравнивания слов. Это плотная архитектура MarianMTModel на 29 млн параметров: 6 слоёв энкодера размерностью 448; декодера нет. Модель получает параллельные арабские и английские предложения и строит матрицу сходства слов по скрытым состояниям, объединяя представления субслов до уровня слов. Контекст — до 1024 токенов. Модель предназначена для извлечения соответствий между словами в арабских и английских переводах, включая египетский диалект и диалектные транскрипты. В README приведены результаты на MSA, египетском арабском и диалектных транскриптах; подход с взаимным argmax выдаёт взаимно однозначные связи. Лицензия — Apache-2.0. Выравниватель не поддерживает связи один-ко-многим: например, арабская клитика может требовать нескольких соответствий, но используемое правило сопоставления оставляет для слова только одну связь. Метки для оценки получены с помощью LLM и имеют заметные расхождения между проходами, поэтому приведённые AER полезнее для сравнения моделей, чем как абсолютная оценка истинности разметки.
Llama-3.1-EstLLM-70B-0826 — базовая авторегрессионная языковая модель на архитектуре Llama, разработанная исследовательскими группами TartuNLP и TalTechNLP. Это непрерывно предобученная на примерно 60 млрд токенов версия meta-llama/Llama-3.1-70B с 69,5 млрд параметров и контекстом до 131 072 токенов; веса опубликованы в формате safetensors. Модель рассчитана на генерацию текста на эстонском и английском языках и дальнейшую настройку под прикладные задачи. Она не проходила инструкционное дообучение, поэтому не предназначена для непосредственного использования в чате или надёжного выполнения инструкций. В оценках README показаны результаты по эстонским и английским бенчмаркам, включая перевод между эстонским и английским. Модель создана при финансировании Эстонской программы языковых технологий. Использование регулируется Llama 3.1 Community License Agreement; перед применением необходимо соблюдать условия этой лицензии.
MooreMuaMu/qwen35-27b-ancient-rl-r32-step100 — полноразмерная объединённая модель на архитектуре Qwen3.5-27B, разработанная на основе этапа 2 модели для древних языков. LoRA-адаптер ранга 32 обучен методом GRPO до шага 100 и объединён с базовой моделью; веса сохранены в bfloat16 в формате safetensors. Модель предназначена для генерации текста и диалоговой работы с заданиями по аннотации и переводу тибетского и традиционного монгольского языков. Проверка на отложенной выборке из 300 запросов показала небольшой прирост общего показателя Exact относительно базовой модели, однако доверительный интервал включает ноль. Показатель BLEU-2 вырос в основном за счёт аннотации традиционного монгольского; результаты различались между языковыми заданиями, поэтому качество не гарантировано для каждого сценария. Модель распространяется по лицензии Apache-2.0.
Windstorm Labs опубликовала дообученную модель машинного перевода с английского языка на tdt. Это компактная модель архитектуры MarianMT с 42,8 млн параметров и контекстом до 512 токенов. Она построена на Helsinki-NLP/opus-mt-en-tdt: LoRA-дообучение на параллельном корпусе объединено с базовыми весами, а модель доступна в формате safetensors для Transformers. Модель предназначена для перевода текстов с английского на tdt. Поддерживается только это направление перевода. Выход проверен на соответствие заявленному языку, но качество перевода пока не оценено; изменение весов само по себе не подтверждает улучшение качества. Лицензия — Apache-2.0.
WindyTranslate/translate-en-toi — модель машинного перевода Windstorm Labs для перевода текста с английского языка на toi. Это дообученная версия Helsinki-NLP/opus-mt-en-toi на параллельных текстах: LoRA-адаптер слит с базовыми весами. Модель MarianMT с 56,4 млн параметров принимает текст и генерирует перевод; максимальный контекст составляет 512 токенов. Модель предназначена для перевода с английского на toi. Для загрузки доступны веса в формате safetensors, совместимые с Transformers. Качество перевода не оценивалось: проверка подтвердила язык результата, но не точность или естественность перевода. Модель лицензирована по Apache-2.0; в карточке указано происхождение от Helsinki-NLP/opus-mt-en-toi.
WindyTranslate/translate-fi-kg — модель машинного перевода, опубликованная Windstorm Labs для перевода с финского языка на конго. Это модель MarianMT на архитектуре encoder-decoder с 51,1 млн параметров и контекстом до 512 токенов; она использует Transformers и хранится в формате safetensors. Модель основана на Helsinki-NLP/opus-mt-fi-kg: к исходным весам применили дообучение LoRA на параллельных текстах и объединили адаптер с базовыми весами. Она предназначена для перевода текстов с финского на конго; обратное направление карточкой не заявлено. В скрининговой оценке на 48 предложениях FLORES-200 модель получила chrF++ 29,01 и BLEU 3,41. Это ограниченный результат, а небольшая выборка не позволяет считать его полноценной оценкой качества. Лицензия — Apache-2.0.
WindyTranslate/translate-fi-pis — модель машинного перевода, опубликованная Windstorm Labs и предназначенная для перевода с финского языка на пижин Соломоновых островов. Это дообученная версия Helsinki-NLP/opus-mt-fi-pis: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель построена на архитектуре MarianMT, содержит 51 млн параметров и принимает текстовый ввод; для модели указано контекстное окно 512 токенов. Репозиторий содержит сборку Transformers в формате safetensors. Модель поддерживает только направление fi→pis; качество пока не оценивали на бенчмарках, поэтому пригодность результатов для конкретного сценария не подтверждена. Лицензия — Apache-2.0.
Модель greenw0lf/wav2vec2-large-xls-r-2b-frisian-cv-8 — дообученная автором для магистерской работы версия facebook/wav2vec2-xls-r-2b. Это плотная модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC и 2,8 млрд параметров, принимающая аудиозаписи и распознающая речь на фризском языке. Она обучена на 41 часе валидированных фризских записей из Common Voice 8.0; автор приводит WER 0,0405 на выборке оценки и 0,0422 на тестовой выборке. Модель предназначена для транскрибирования фризской речи, например записей, похожих на данные Common Voice. При обучении и оценке использовались разделы фризского набора Common Voice 8.0, поэтому приведённые показатели относятся к этой тестовой конфигурации. Среди ограничений автор указывает отсутствие повторного ранжирования с языковой моделью и использование версии Common Voice 8.0 вместо более поздней 13.0. Лицензия — Apache-2.0.
Это дообученная модель автоматического распознавания речи на основе openai/whisper-small, созданная для транскрибирования кантонского языка. Она обучена на датасете Common Voice 17.0 и использует архитектуру Whisper с 153,1 млн параметров. В README приведён результат оценки: WER 55,5764 и loss 0,2823; значение WER указывает на заметные ошибки распознавания, поэтому качество транскрипции может быть ограниченным. Модель принимает аудио и выдаёт текст. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не сообщает дополнительных сведений о контексте применения или ограничениях.
Darwin-60B-DUO — созданный командой FINAL-Bench агрегатор двух специализированных языковых моделей, работающий как единый API-сервис. Оркестратор Hybrid-A направляет запросы к Darwin-28B-REASON для англоязычных рассуждений, к AWAXIS-Think-31B для корейского языка либо использует последовательную обработку и ансамбль. Заявленный суммарный размер моделей — 58,17 млрд параметров; репозиторий содержит оркестратор, а веса компонентов загружаются из отдельных репозиториев и запускаются через vLLM. Модель предназначена для двуязычных корейско-английских помощников и интеграции через OpenAI-совместимый API. Оптимальна для английского и корейского; другие языки не оптимизированы. Развёртывание требует ресурсов для двух бэкендов: базовая конфигурация использует две GPU, а FP8 позволяет разместить их на одной GPU объёмом 80 ГБ. Сервис не поддерживает потоковую выдачу токенов, а заявленный текстовый режим отключает обработку изображений и видео. Возможны галлюцинации и ошибки при выборе ответа ансамблем. Лицензия репозитория — Gemma.
CjangCjengh разработал LN-Korean-14B-v0.1 на основе Qwen1.5-14B-Chat, дообучив модель на данных переводов корейских ранобэ. Обучающая подборка включает корейско-китайские переводы 454 японских ранобэ и переводы с корейского на китайский для 14 корейских ранобэ. Модель предназначена для перевода художественного текста с корейского языка на упрощённый китайский. Это плотная языковая модель семейства Qwen2 с 13,4 млрд параметров, поддерживает генерацию текста и чатовый формат; максимальный контекст составляет 32 768 токенов. В метаданных также указаны корейский и китайский языки. Модель опубликована под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование. README заявляет поддержку только перевода с корейского на упрощённый китайский; качество на других жанрах и типах текстов не подтверждено.
Burmese LLM — языковая модель Ko Yin Maung из Myanmar Innovative Group (MIG), дообученная на базе Gemma 3 Text с 1 млрд параметров. Модель предназначена для перевода между английским и бирманским языками, ответов на базовые вопросы о буддизме и генерации связного текста на бирманском. В карточке указана архитектура Gemma3ForCausalLM, формат safetensors и контекст до 32 768 токенов. Модель подходит для учебных вопросов о буддийских знаниях и перевода коротких фраз между английским и бирманским. Ответы на вопросы описаны как основанные на RAG с векторной базой данных. Для сложных буддийских текстов возможны ошибки и выдуманные сведения, а качество перевода может снижаться на длинных или специализированных материалах; результаты следует проверять человеком. Лицензия — Apache-2.0.
hadramibegnoug/mms-hassaniya-asr — модель распознавания речи на основе архитектуры wav2vec2, опубликованная пользователем hadramibegnoug на Hugging Face. Она предназначена для преобразования аудио на хассания в текст. Модель содержит около 1,3 млрд параметров и доступна в формате Safetensors; для запуска предусмотрена библиотека Transformers с классом Wav2Vec2ForCTC. Карточка модели автоматически создана и не содержит сведений о разработчике, обучающих данных, оценке качества, лицензии или ограничениях, поэтому эти характеристики нельзя подтвердить. Модель подходит для сценариев автоматической транскрипции речи на хассания; её точность в разных условиях записи по доступной информации оценить нельзя.
facebook/mms-tts-gag-script_latin — модель синтеза речи на гагаузском языке в латинской письменности, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на гагаузском языке. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. Вариационный автоэнкодер, потоковый модуль и декодер на основе свёрточных слоёв формируют аудиосигнал; стохастический предиктор длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. При одинаковом тексте модель может синтезировать разные варианты речи, поэтому для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
serhii-korobchenko/mt5-small-finetuned-amazon-en-es — дообученная модель Google mT5-small для преобразования текста в текст. Она содержит около 157,4 млн параметров и основана на архитектуре MT5ForConditionalGeneration; репозиторий содержит веса в формате TensorFlow. По названию модель связана с Amazon и английским и испанским языками, однако README не уточняет набор данных, целевую задачу и сценарии применения. Базовая модель mT5 предназначена для многоязычных задач преобразования текста в текст. Модель распространяется по лицензии Apache-2.0.
Helsinki-NLP/opus-mt-en-grk — модель машинного перевода из серии OPUS-MT, разработанной Helsinki-NLP. Это компактная модель архитектуры Transformer на базе MarianMT с 36,6 млн параметров, предназначенная для перевода с английского на греческие языки: современный греческий и древнегреческий с письменностью Greek. Для выбора целевого языка в начале входной последовательности требуется токен вида `>>id<<`; используется нормализация текста и SentencePiece с моделями токенизации размером 12 тысяч токенов. Контекст составляет до 512 токенов. Модель опубликована под лицензией Apache-2.0; доступны веса PyTorch и TensorFlow. Модель подходит для перевода предложений и текстов с английского на современный греческий или древнегреческий. В карточке приведены тестовые показатели BLEU 53,8 для направления английский—современный греческий и BLEU 0,1 для английский—древнегреческий, поэтому качество существенно зависит от целевого языка. Узкая пара языков, ограниченный контекст и низкий результат на тесте для древнегреческого ограничивают её применение.
Helsinki-NLP/opus-mt-mkh-en — модель машинного перевода семейства OPUS-MT, разработанная Helsinki-NLP на архитектуре Transformer и реализованная как MarianMTModel. Она переводит текст с мон-кхмерских языков на английский. В README перечислены кхмерский, кхму, кхаси, мон и вьетнамский, включая варианты письменности для кхмерского и вьетнамского; метаданные также отмечают языки vi, km и en. Модель содержит 53,9 млн параметров, использует нормализацию и SentencePiece с словарями по 32 тыс. токенов, а длина контекста составляет 512 токенов. Модель подходит для перевода предложений и текстов с поддерживаемых языков на английский. В опубликованных тестах показатели различаются по языку: BLEU составляет 8,5 для кхмерского и менее 1 для кхаси и мон, что указывает на ограниченное качество для части языков. Доступны веса PyTorch и TensorFlow. Лицензия — Apache-2.0.
vadimbelsky/qwen3-asr-arabic-uae — модель распознавания речи, созданная дообучением Qwen/Qwen3-ASR-1.7B для эмиратского диалекта арабского языка. Она принимает аудио и преобразует речь в текст, лучше учитывая разговорные формы и специфическую лексику диалекта, а также реже добавляя лишнюю пунктуацию. На проверочной выборке из 2 497 примеров из ОАЭ модель показала WER 9,98% и CER 2,55%, улучшив показатели базовой модели с 13,53% и 3,33% соответственно. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0. Модель предназначена прежде всего для коротких высказываний на эмиратском арабском. Обучение проводилось на синтетически сгенерированной арабской речи, а данные преимущественно содержали фрагменты короче 20 секунд; качество на других диалектах арабского может быть ниже.
RomanEng2Nep-v2-GGUF — квантизированная версия модели RomanEng2Nep-v2, разработанной syubraj и преобразованной в формат GGUF пользователем mradermacher. Модель обучалась на датасете roman2nepali-transliteration и предназначена для транслитерации текста, записанного латиницей в стиле Roman English, в непальское письмо. Заявленные языки — непальский и английский; основная задача — обработка и преобразование непальского текста, введённого латиницей. Сценарии применения включают локальный запуск задач транслитерации и интеграцию с инструментами, поддерживающими формат GGUF. В README не указаны архитектура, количество параметров, размер контекста, точные показатели качества и поддерживаемые модальности; по доступным данным модель является текстовой. Репозиторий предоставляет варианты квантования Q2_K–Q8_0, IQ3 и IQ4, а также f16, с размерами примерно от 0,3 до 0,7 ГБ. Для вариантов Q4_K_S и Q4_K_M заявлена высокая скорость, Q6_K отмечен как вариант очень хорошего качества, а Q8_0 — как быстрый вариант с наилучшим качеством среди перечисленных. Распространение указано по лицензии Apache-2.0. Ограничения включают отсутствие в README подробных результатов оценки, сведений о качестве на разных типах входных данных и характеристик исходной архитектуры; качество также зависит от выбранного уровня квантования.
Synatra-7B-v0.3-Translation — разговорная модель на 7,1 млрд параметров, разработанная как личный проект. Она основана на mistralai/Mistral-7B-Instruct-v0.1 и дообучена на наборе sharegpt_deepl_ko_translation и его отфильтрованной версии. Модель предназначена для перевода заданных фраз на корейский язык; в README приведён соответствующий формат инструкции. Модель использует плотную архитектуру Mistral и поддерживает контекст длиной до 32 768 токенов. Указаны форматы ChatML и Alpaca без входных полей. Весы доступны в формате PyTorch, лицензия — CC BY-SA 4.0. Карточка не содержит результатов завершённой оценки качества: раздел Ko-LLM-Leaderboard помечен как находящийся в процессе. Перевод на корейский — единственное явно описанное целевое направление; качество для других задач или языковых пар не подтверждено.
TEA-ASR-1-mini — компактная модель распознавания речи, разработанная JacobLinCool для повседневной тайваньской речи на мандаринском китайском. Она дообучена на базе Qwen/Qwen3-ASR-0.6B: аудиоэнкодер заморожен, а небольшая LoRA-адаптация декодера объединена с весами в единый чекпойнт. Модель принимает аудио и транскрибирует речь традиционными китайскими иероглифами, используя лексику Тайваня; она также рассчитана на естественное переключение между китайским и английским. Модель содержит 780 млн параметров и совместима с API Qwen3-ASR; для распознавания тайваньской речи рекомендуется задавать язык Chinese. README приводит результаты на CommonVoice zh-TW и наборах с китайско-английским переключением, а также замеры скорости и памяти на RTX 5090. Лицензия — MIT. Это специализированная модель для тайваньского мандаринского, поэтому результаты на других языках и типах речи не подтверждены; на плотном синтетическом переключении языков младшая версия уступает более крупной TEA-ASR-1.
WindyTranslate/translate-fi-bzs — модель машинного перевода от Windstorm Labs для перевода с финского языка на боссанский креольский. Это дообученная версия Helsinki-NLP/opus-mt-fi-bzs: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель построена на архитектуре MarianMT, содержит 55,6 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Модель предназначена для перевода отдельных текстов с финского на боссанский креольский. Репозиторий содержит веса в формате safetensors для загрузки через Transformers. Лицензия — Apache-2.0. Качество перевода пока не оценивалось бенчмарками. Поддерживается только направление fi→bzs; изменение весов подтверждает происхождение дообученной модели, но само по себе не свидетельствует об улучшении качества.
Модель alakxender/wav2vec2-base-960h-dhivehi — система автоматического распознавания речи на дивехи, разработанная как дообучение facebook/wav2vec2-base-960h. Она использует архитектуру wav2vec 2.0 и CTC-декодирование; языковая голова переинициализирована под символьный словарь из 52 токенов для письма тхаана. Базовая модель содержит 95 млн параметров. Модель принимает монофоническое аудио с частотой 16 кГц; обучение включало записи длительностью от 1 до 30 секунд и сочетало синтетическую и записанную речь. Модель предназначена для транскрибирования речи на дивехи, а также для исследований и экспериментов с распознаванием этого языка. На тестовой выборке из 26 875 высказываний указаны WER 19,96% и CER 3,62%; использовалось жадное CTC-декодирование без языковой модели. Лицензия — Apache-2.0. Качество заметно снижается на аудио вне обучающего распределения: в README для таких данных приводится WER около 65%. Из-за преобладания синтетической речи модель может хуже распознавать новых дикторов и незнакомые условия записи. Для универсальной производственной транскрибации авторы рекомендуют дообучение на целевом домене.
jonatasgrosman/wav2vec2-large-xlsr-53-chinese-zh-cn — модель распознавания китайской речи, созданная Jonatas Grosman дообучением facebook/wav2vec2-large-xlsr-53. Это трансформерная архитектура Wav2Vec2 с CTC-декодированием, содержащая 406,2 млн параметров. Модель обучена на китайских данных из Common Voice 6.1, CSS10 и ST-CMDS. Модель преобразует аудиозаписи на китайском языке в текст и рассчитана на распознавание речи zh-CN; входное аудио должно иметь частоту дискретизации 16 кГц. В опубликованной оценке на тестовой части Common Voice для китайского языка указаны WER 82,37% и CER 19,03%, что следует учитывать при выборе для практического применения. Модель распространяется по лицензии Apache-2.0.
Baselhany/Distilation_Whisper_base_CKP2 — дообученная версия OpenAI Whisper Base для распознавания арабской речи. Модель содержит 51,7 млн параметров и рассчитана на преобразование аудио в текст; она обучена на наборе quran-ayat-speech-to-text. В README приведены результаты оценки на тестовой выборке: loss 0,0949 и WER 0,2085. Модель использует архитектуру WhisperForConditionalGeneration и формат safetensors. Лицензия — Apache-2.0.