I.6Перевод и языковая адаптация

Windstorm Labs выпустила модель машинного перевода с испанского на тагальский. Это дообученная версия Helsinki-NLP/opus-mt-es-tl: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель построена на архитектуре MarianMT, содержит 55,7 млн параметров и рассчитана на контекст до 512 токенов. Репозиторий содержит сборку Transformers в формате safetensors. Модель предназначена для перевода испанских фраз и текстов на тагальский. Качество перевода ещё не оценивалось бенчмарками; подтверждено изменение весов относительно исходной модели, но это само по себе не свидетельствует о качестве. Поддерживается только направление es→tl. Лицензия — Apache-2.0.

WindyTranslate/translate-fi-gaa — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-fi-gaa на параллельных текстовых данных: LoRA-адаптер слит с базовыми весами. Модель построена на архитектуре MarianMT, содержит 56,7 млн параметров и принимает контекст длиной до 512 токенов. Модель предназначена для перевода с финского языка на язык га. В репозитории опубликована сборка Transformers в формате safetensors. Лицензия — Apache-2.0. Качество перевода пока не оценивалось; факт изменения весов подтверждает происхождение модели, но сам по себе не показывает, что перевод стал лучше.

WindyTranslate/translate-fi-gil — модель машинного перевода, опубликованная Windstorm Labs и основанная на Helsinki-NLP/opus-mt-fi-gil. Это дообученная MarianMTModel с 53 млн параметров: LoRA-адаптер обучили на параллельном корпусе и объединили с базовыми весами. Модель переводит текст с финского на язык gil; контекст составляет до 512 токенов. Репозиторий содержит сборку Transformers в формате safetensors. Лицензия — Apache-2.0. Качество перевода пока не оценивалось бенчмарками, поэтому пригодность модели для конкретных задач следует проверять на собственных данных.

WindyTranslate/translate-fi-mh — модель машинного перевода, опубликованная Windstorm Labs. Это дообученная версия Helsinki-NLP/opus-mt-fi-mh: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель построена на архитектуре MarianMT, содержит 53,2 млн параметров и принимает текст на финском языке, выдавая перевод на маршалльский. Доступная сборка сохранена в формате safetensors и рассчитана на запуск через Transformers; длина контекста — до 512 токенов. Модель предназначена для перевода с финского на маршалльский. В репозитории есть одна сборка, другие варианты этой языковой пары, включая CTranslate2 INT8, не включены. Качество перевода пока не оценивалось; изменение весов подтверждает происхождение дообученной модели, но само по себе не гарантирует улучшения качества. Лицензия — Apache-2.0.

Windstorm Labs выпустила модель машинного перевода с финского языка на мооре (моси, код языка mos), созданную на основе Helsinki-NLP/opus-mt-fi-mos. Это дообученная модель семейства Marian с архитектурой MarianMTModel: веса изменены с помощью LoRA, обученной на параллельных данных, а адаптер объединён с базовыми весами. Модель содержит 51 млн параметров, принимает текст, выдаёт перевод и рассчитана на контекст до 512 токенов. Модель предназначена для перевода финских текстов на мооре. В проверке на 48 предложениях набора FLORES-200 она получила chrF++ 16,51 и BLEU 0,36; авторы характеризуют результат как ограниченный скрининговый показатель, а не полноценную публикационную оценку. Модель поддерживает только направление fi→mos, поэтому качество следует проверять на целевых текстах. Репозиторий распространяется по лицензии Apache-2.0.

Windstorm Labs выпустила модель машинного перевода с французского языка (fr) на мадагаскарский диалект маоре (mfe). Это дообученная версия Helsinki-NLP/opus-mt-fr-mfe: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Модель построена на архитектуре MarianMT, содержит 49,6 млн параметров и работает с контекстом до 512 токенов. Модель предназначена для перевода текста с французского на mfe; обратное направление в карточке не заявлено. Репозиторий содержит веса в формате safetensors для использования через Transformers. Лицензия — Apache-2.0. Качество перевода пока не оценивалось, поэтому пригодность для конкретных задач требует отдельной проверки.

Taeham/wav2vec2-ksponspeech — модель распознавания корейской речи, созданная дообучением Wav2vec2-large-xlsr-53 на данных Ksponspeech. Она принимает аудио и преобразует речь в текст; карточка указывает на обучение на двух частях обучающей выборки Ksponspeech и сообщает WER 0,373 на сторонних тестовых данных. Архитектура — Wav2Vec2ForCTC, размер — 403,1 млн параметров; модель опубликована в формате PyTorch и рассчитана на корейский язык. Модель подходит для транскрибации корейской речи и получения черновых расшифровок аудиозаписей. Точность может улучшаться при унификации записи чисел и символов, нормализации пунктуации и исправлении слов по контексту; указанный WER показывает, что распознанный текст может требовать постобработки. Лицензия — Apache-2.0.

arun100/whisper-base-bn-6 — модель автоматического распознавания речи на основе Whisper Base, дообученная разработчиком на бенгальской части набора Mozilla Common Voice 16.0. Она преобразует входящую речь в текст и предназначена для транскрибирования бенгальской речи. Модель содержит 51,7 млн параметров и опубликована в формате Safetensors под лицензией Apache-2.0. На оценочной выборке указаны Loss 0,2078 и WER 28,8185. Эти результаты относятся к конкретной выборке и сами по себе не гарантируют такое же качество на других записях; подробности об условиях записи и ограничениях в карточке не приведены.

kasunw/whisper-large-v3-sinhala — дообученная модель распознавания речи на основе Whisper large-v3 от OpenAI. Она предназначена для транскрибации аудио на сингальском языке; в основе — архитектура WhisperForConditionalGeneration с 905,2 млн параметров. Для дообучения использован датасет OpenSLR. Модель принимает аудио и выдаёт текст. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает точные ограничения качества или длину контекста; назначение модели ограничено распознаванием речи на сингальском языке.

YuvrajGujari/whisper-small-balti — модель автоматического распознавания речи на балти, дообученная на аудиоданных с письмом персо-арабской графикой. В её основе Whisper Small от OpenAI: плотная модель WhisperForConditionalGeneration размером 153,1 млн параметров, доступная в формате safetensors. Модель предназначена для транскрибирования речи на балти. В README указана частота ошибок слов WER 17,40% на валидации; автор сравнивает её с прежними результатами BaltiVoice и Wav2Vec2. Модель принимает аудио и выдаёт текст; данные для дообучения взяты из YuvrajGujari/balti-tarjuman-data. Лицензия — Apache-2.0. Заявление о SOTA и метрика приведены в карточке модели и относятся к её валидационной оценке; результаты на других данных могут отличаться.

Whisper Small Esperanto v0.2 — это дообученная tarob0ba модель распознавания речи на основе openai/whisper-small. Она предназначена для транскрибирования аудио на эсперанто; обучение проводилось на наборе Common Voice Scripted Speech 25.0 для эсперанто. В архитектуре Whisper используется Transformer для обработки аудио и генерации текста. На оценочной выборке указана WER 13,9593 и loss 0,2158. Модель распространяется в формате safetensors по лицензии Apache-2.0.

xmtransformers2uten-hk — модель перевода речи в речь на базе fairseq, разработанная Facebook. Она предназначена для прямого преобразования англоязычной речи в речь на хоккиене с использованием одношагового декодера S2UT. Модель обучена на размеченных данных из домена TED и слабонаблюдаемых данных из доменов TED и аудиокниг; синтез речи использует facebook/unit_hifigan_HK_layer12.km2500_frame_TAT-TTS. Репозиторий содержит веса PyTorch и связан с набором данных MuST-C. Лицензия CC BY-NC 4.0 запрещает коммерческое использование. Модель подходит для перевода выступлений и аудиокниг с английского на хоккиен с речевым выходом. Карточка не сообщает метрики качества или длину входного аудио, поэтому качество на других жанрах и акустических условиях по ней оценить нельзя.

ACI Yoruba Phase X — модель автоматического распознавания нигерийского языка йоруба в аудио, разработанная авторами репозитория Awesome-x. Это дообученная акустическая модель Wav2Vec2ForCTC размером около 402,7 млн параметров, объединённая с 5-граммовой языковой моделью KenLM и фонетической картой постобработки. В репозитории собраны веса, декодер KenLM и карта. Модель предназначена для транскрибирования речи на йоруба. В README сообщается о WER 7,09% на отложенной выборке из 55 записей AR_Audios после нормализации текста; улучшение относительно предыдущей конфигурации получено настройкой декодирования и более крупным униграммным корпусом, а акустические веса общие с Phase 10. Результат измерен на небольшой выборке из одного датасета, поэтому перед практическим применением качество следует проверить на целевых записях. Модель выпущена под лицензией Apache-2.0.

BanglaT5 small — предварительно обученная модель семейства T5, разработанная исследователями CSE BUET для работы с бенгальским языком. Это последовательностная модель типа encoder-decoder на 38,5 млн параметров, обученная на задаче восстановления скрытых фрагментов текста. Контекст модели составляет 512 токенов. Чекпойнт предназначен для дообучения под задачи генерации текста на бенгальском языке, включая машинный перевод, абстрактивное суммирование, ответы на вопросы, многоходовый диалог и создание новостных заголовков. Для лучшего результата перед токенизацией рекомендуется применять использованный авторами конвейер нормализации бенгальского текста. Сильная сторона модели — компактный размер при специализации на бенгальском языке; опубликованные авторами результаты относятся к версиям, дообученным для конкретных задач. Сам исходный чекпойнт является базовой предварительно обученной моделью и сам по себе не гарантирует качество на этих задачах без дополнительного дообучения. Сведения о лицензии в предоставленных источниках отсутствуют.

Fadhma-300M — модель распознавания речи на кабильском языке (таqbaylit), разработанная agbalu. Это акустическая модель на 402,7 млн параметров с архитектурой Wav2Vec2ForCTC, дообученная на базе ylacombe/omniASR_W2V_300M_SSL. Она преобразует аудио в текст латиницей с канонической кабильской орфографией; для декодирования доступны жадный CTC-режим и поиск по лучам с 5-граммной языковой моделью, построенной на кабильском текстовом корпусе. Модель предназначена для расшифровки кабильской речи в голосовых заметках, устных архивах, интервью и вещательных записях, а также для преобразования речи в текст перед дальнейшей языковой обработкой. На тесте Common Voice 22.0 с 15 003 высказываниями и разделением по говорящим указаны CER 8,01% и WER 25,65% при поиске по лучам с языковой моделью; без неё — 8,53% и 30,12%. Лицензия — Apache-2.0.

geez-asr — модель автоматического распознавания амхарской речи, разработанная как дообученная версия Samuael/asr-amharic-phoneme-based-37-6 на наборе данных alffa_amharic. Она использует архитектуру wav2vec2 с декодированием CTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка сообщает о результатах оценки: WER 0,1471 и CER 0,0405. Модель предназначена для распознавания амхарской речи в аудиозаписях. Репозиторий распространяется по лицензии Apache-2.0.

girenit/girenit-TR-TextRestore — турецкая модель для восстановления диакритических знаков и написания слов в ASCII-тексте. Она разработана на базе mT5-small и дообучена на новостных предложениях из набора TR-News; архитектура — MT5ForConditionalGeneration, размер — 157,4 млн параметров. Модель принимает текст с префиксом «şapka: » и преобразует его в текст с турецкими буквами и апострофами, например: «Ahmet Yilmaz Istanbulda» → «Ahmet Yılmaz İstanbul'da».

Hypa-Orpheus-3b-TTS-VC — мультиязычная модель синтеза речи и клонирования голоса от Hypa Intelligence. Она дообучена на базе Orpheus 3B и выдаёт аудио как последовательность дискретных токенов SNAC, которые декодируются в речевую волну с частотой 24 кГц. Модель поддерживает озвучивание текста с выбором голоса, синтез речи по смыслу текста на другом языке и клонирование голоса по короткому образцу, в том числе между языками. Модель содержит 3,3 млрд параметров, использует архитектуру Llama и представлена слитыми весами bfloat16; для генерации требуется декодер SNAC и специальные управляющие токены. Она обучена на данных для 22 языков, среди которых английский, французский, арабский, хауса, йоруба и игбо; качество зависит от языка и говорящего. Обучение ограничивалось контекстом 2048 токенов, поэтому более длинные фрагменты могут звучать хуже, а формальные оценки разборчивости, естественности и точности клонирования не опубликованы. Лицензия — Apache-2.0.

Kotoba-Whisper v2.0 — модель распознавания японской речи, разработанная Kotoba Technologies совместно с Asahi Ushio. Она преобразует аудио в текст и предназначена для транскрибации японской речи, в том числе записей японских телепередач. Модель построена на архитектуре Whisper и содержит около 905,2 млн параметров. Это дистиллированная версия: полный энкодер Whisper large-v3 сочетается с декодером из двух слоёв, инициализированных первым и последним слоями модели-учителя. По данным авторов, она работает в 6,3 раза быстрее Whisper large-v3. Модель обучали на японском наборе ReazonSpeech; авторы сообщают о конкурентных результатах на тестах ReazonSpeech, JSUT Basic 5000 и CommonVoice 8.0. Модель поддерживается библиотекой Transformers версии 4.39 и новее. В карточке указана лицензия Apache-2.0. Она рассчитана на японскую речь; результаты на других языках не заявлены. Показатели WER в приведённых авторами тестах остаются высокими, поэтому качество распознавания может зависеть от аудио и сценария использования.

Модель Language Garden: English to Tsakonian разработана Jaime Garcia Chaparro для перевода предложений с английского на цаконский язык. Она входит в серию Language Garden, предназначенную для поддержки языков, находящихся под угрозой исчезновения. Для перевода в запросе предлагается явно указать направление и передать исходное предложение. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров. Модель дообучена методом supervised fine-tuning на основе Meta-Llama-3.1-8B-bnb-4bit с использованием SFT; указанный размер контекста — 131 072 токена. Репозиторий содержит веса PyTorch в формате safetensors. В карточке приведено значение loss на тестовом наборе 0,8997. Модель предназначена для текстового перевода с английского на цаконский, в том числе для поддержки работы с малоресурсным языком. Лицензия и подробности о данных, оценке качества и ограничениях в карточке не раскрыты.

BuzzASR/lao — одноязычная модель автоматического распознавания речи на лаосском языке из набора BuzzASR, разработанная авторами проекта и дообученная на основе openai/whisper-large-v3. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration, содержащая 907,3 млн параметров; веса опубликованы в формате safetensors. Модель принимает аудио и преобразует речь в текст, а языковая и задачная подсказка уже встроена в конфигурацию генерации. Модель предназначена для транскрибации лаосской речи. При оценке на наборах FLEURS и Common Voice 25 авторы сообщают снижение CER примерно в 2,9 раза относительно Whisper-large-v3 без дообучения на объединённом тестовом наборе. Обучение включало данные FLEURS, Common Voice Corpus 25.0 и текстовые данные корпуса Goldfish. Модель ограничена лаосским языком; качество на других доменах и диалектах может отличаться от результатов на тестовых наборах. Распространяется по лицензии MIT.

Модель sokho2/mms-300m-wolof — дообученная разработчиком sokho2 модель facebook/mms-300m для автоматического распознавания речи на волофском языке. Она использует архитектуру Wav2Vec2 с 300 млн параметров и CTC-декодирование; принимает аудио и выдаёт распознанный текст. Модель обучалась на наборах Or4kool/wolof_speech_dataset и Alwaly/wolof_asr_bg, с аугментацией скорости и громкости, и оценивалась на отложенных данных ALFFA Wolof и Google FLEURS. В карточке указаны WER 13,64% и CER 4,51%.

facebook/mms-tts-gam — модель синтеза речи на языке Kandawo (gam), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на Kandawo. Модель использует архитектуру VITS: это сквозная система с вариационным автоэнкодером, поточным модулем, декодером в стиле HiFi-GAN и стохастическим предиктором длительности. Для каждого языка проекта MMS обучается отдельный чекпойнт; размер этой модели — 3,5 млн параметров. Для воспроизводимого результата генерации требуется фиксировать seed. Модель работает с текстовым входом и аудиовыходом, рассчитана на Kandawo. Для использования указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое применение.

Nawah-ASR-118M-v5 — модель распознавания арабской речи, опубликованная oddadmix. Это компактная система на 118 млн параметров: акустический энкодер архитектуры Whisper обучен с нуля на собственном корпусе объёмом 866 часов, а распознавание использует арабскую языковую модель в оболочке Qwen2Audio. После обучения модель дополнительно оптимизировали методом GRPO с оценкой по ошибке распознанных слов. Модель предназначена для преобразования арабской речи в текст. В карточке приведены результаты на 3165 отложенных аудиофрагментах и сравнение с Whisper; качество зависит от регистра речи и принятого способа записи. Для загрузки автор рекомендует функцию load_v5: стандартный from_pretrained может установить частоту аудиотокенов вдвое ниже обучающей, что приводит к некорректной работе. Вход — монофонический аудиосигнал float32 с частотой 16 кГц; контекст языковой модели — 2048 токенов. Модель лучше подходит для арабской речи в литературном регистре; разговорный египетский диалект и короткие записи распознаются хуже. Для длинных записей автор рекомендует предварительное сегментирование. Распространяется по лицензии Apache-2.0.

Модель fhswf/nllb-600M-lat_Latn-to-deu_Latn — дообученная версия facebook/nllb-200-distilled-600M для машинного перевода с латинского языка на немецкий. Она построена на архитектуре M2M100 и рассчитана на прямой перевод текстов, в том числе академических и исторических. Модель содержит 463,7 млн параметров, работает с библиотекой Transformers и имеет контекстное окно до 1024 токенов. Модель подходит для перевода латинских текстов на немецкий, однако качество зависит от покрытия и стиля обучающего набора; редкие слова, сложные конструкции и неоднозначный контекст могут приводить к ошибкам. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Helsinki-NLP/opus-mt-en-aav — модель машинного перевода из семейства OPUS-MT, разработанная Helsinki-NLP. Она преобразует текст с английского языка на несколько австроазиатских языков: хасийский, кхмерский, монский и вьетнамский; для некоторых языков доступны варианты письма латиницей или ханты. Это трансформер Marian с 53,9 млн параметров, SentencePiece-токенизацией и контекстом до 512 токенов. Для выбора языка перевода перед текстом требуется указать специальный токен целевого языка в формате `>>id<<`. Модель предназначена для перевода предложений и текстовых фрагментов. В README приведены тестовые результаты на наборах Tatoeba для хасийского и кхмерского, где значения BLEU низкие, поэтому качество для этих языковых пар может быть ограниченным. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия — Apache-2.0.

Это модель машинного перевода OPUS-MT, разработанная Language Technology Research Group Хельсинкского университета в рамках проекта OPUS-MT. Архитектура — Transformer-big на базе Marian; модель содержит 163,5 млн параметров и принимает последовательности длиной до 1024 токенов. Репозиторий содержит веса PyTorch и Safetensors, подготовленные для Transformers. Модель переводит с немецкого, английского, французского, португальского и испанского на семитские языки и исторические языковые варианты, включая арабский, амхарский, иврит, арамейский, древнееврейский и финикийский. Для выбора целевого языка используются специальные метки направления перевода. Она подходит для перевода текстов на поддерживаемые языки, в том числе материалов из низкоресурсных языковых пар и религиозных текстов. Качество может зависеть от языка и тематики исходного текста; README не приводит количественных результатов оценки. Лицензия — Apache-2.0.

OPUS-MT-tiny-eng-fra — компактная модель машинного перевода семейства Marian, разработанная Helsinki-NLP. Это дистиллированная ученическая модель на базе учителя OPUS-MT-models/en-fr/opus-2020-02-26; для обучения использован набор Tatoeba. Модель содержит 14,5 млн параметров, принимает английский текст и переводит его на французский. Контекст составляет до 256 токенов. Модель предназначена для перевода коротких фраз и предложений, в том числе в сценариях, где важны небольшие размер и вычислительная стоимость. На тестах Flores+ и Bouquet ученическая модель показала BLEU 44,2 и 40,4 соответственно; результаты ниже, чем у учительской модели. Доступны веса Safetensors и TFLite, а карточка также описывает использование через Transformers и Marian. Модель распространяется по лицензии Apache-2.0. Ее узкая языковая пара и ограниченный контекст делают ее менее подходящей для длинных документов и перевода на языки, отличные от французского.

Qwen3.8-27B-Satoori-KO — модель преобразования корейских региональных диалектов, созданная ThakiCloud на базе Qwen/Qwen3.8-27B дообучением на реальных корпусах корейской диалектной речи. Она охватывает пять регионов: Канвондо, Кёнсандо, Чолладо, Чхунчхон и Чеджу, и предназначена для одношаговых преобразований и классификации текста. Модель преобразует фразу на диалекте в стандартный корейский, определяет регион диалекта и переводит стандартную корейскую фразу в указанный диалект. В оценке KoDialectBench v0 показала chrF 80,1 и точность идентификации региона 79,4%; инструкции запроса рекомендуется формулировать по шаблонам обучения. Модель обучалась на транскрибированном тексте и не обрабатывает аудио. Это не модель для свободного диалога: способность поддерживать естественную беседу не обучалась и не оценивалась. Вне обучающих регистров, особенно в формальном клиентском обслуживании, преобразование может игнорировать запрошенный регион; оценки на шести самостоятельно составленных примерах являются демонстрационными. Карточка указывает лицензию «other» и отмечает, что веса являются производной работой на основе AI Hub корпусов, тогда как исходные и производные данные в репозитории не распространяются.

Dhahlan2000/Simple_Translation-model-for-GPT-v9 — модель семейства T5 с 38,5 млн параметров, дообученная на основе Dhahlan2000/Simple_Translation-model-for-GPT-v8. Репозиторий содержит веса в формате safetensors; модель принимает текст и генерирует текст, её контекст составляет 512 токенов. Модель предназначена для перевода текста. В карточке приведены результаты оценки: loss 0,1309 и BLEU 20,7885; язык, направление перевода и данные обучения не раскрыты. Лицензия в предоставленных сведениях не указана.