I.15Доступность и ассистивные технологии

KaniTTS — модель синтеза речи, представленная в репозитории nineninesix/kani-tts-450m-0.2-pt. Она предназначена для генерации речи в разговорных ИИ-приложениях, голосовых помощниках, средствах доступности и языкового обучения. Модель построена на плотной архитектуре LFM2 с причинной языковой моделью и использует двухэтапный процесс: языковая модель генерирует сжатые аудиотокены, а нейрокодек синтезирует из них звуковую волну. В метаданных указано 460 млн параметров и контекст до 128 000 токенов; README приводит размер 450 млн параметров, частоту дискретизации 22 кГц и заявляет быстрый вывод для диалоговых сценариев. Заявлена поддержка английского, немецкого, арабского, китайского, корейского, французского, японского и испанского языков. README сообщает о лицензии Apache 2.0, тогда как метаданные обозначают лицензию как other, поэтому условия использования стоит сверить с файлами лицензии репозитория. По карточке, качество выразительности без дополнительной настройки ограничено; качество может ухудшаться на длинных входах, также отмечена возможная передача смещений обучающих данных в просодию и произношение.

Kurmancî TTS — Piper ONNX — это многоголосая модель синтеза речи на курманджи (севернокурдском), созданная atenax и дообученная с помощью конвейера Piper. Она принимает текст и выдаёт речь; веса акустической модели экспортированы в ONNX для локального и серверного запуска, в том числе на CPU. Для работы Piper нужны вместе файлы model.onnx и model.onnx.json с настройками фонем, голосов и аудио. Модель предназначена для языковых исследований и обучения, прототипов доступности и чтения вслух, а также экспериментов с локальным или серверным синтезом. Обучающие данные подготовлены из корпуса atenax/kmr_tts: 56 499 высказываний с 90 анонимизированными идентификаторами голосов. Лицензия — MIT. Произношение, интонация и стабильность голоса могут меняться от фразы к фразе. Качество может снижаться на длинных текстах, при переключении языков, необычных именах и письме вне курманджийского латинского алфавита; идентификаторы голосов не обозначают проверенных реальных людей. Модель не предназначена для имитации людей, мошенничества, травли или вводящих в заблуждение синтетических медиа.

Marvis-AI разработала Marvis — компактную модель синтеза речи для потоковой генерации аудио из текста и разговорных голосовых приложений. Модель основана на архитектуре Sesame CSM-1B: мультимодальный трансформер обрабатывает чередующиеся текстовые и аудиотокены, а аудиодекодер восстанавливает речь по токенам RVQ с использованием кодека Kyutai Mimi. В метаданных указано 265 млн параметров и контекст 2048 токенов. Модель предназначена для потокового синтеза речи с низкой задержкой, в том числе на устройствах Apple Silicon и мобильных устройствах. Она обрабатывает текстовый контекст целиком, что помогает сохранять связность и естественную интонацию без предварительного разбиения текста на фрагменты. Заявлены поддержка английского, французского и немецкого языков, а также клонирование голоса по аудиообразцу. Репозиторий распространяется по лицензии Apache-2.0. README описывает квантизованный вариант размером около 500 МБ, но в метаданных указан формат safetensors; характеристики конкретной поставки могут отличаться. Качество речи, скорость на разных устройствах и права на использование голосов зависят от сценария; при клонировании голоса необходимо соблюдать применимые законы и получать необходимые разрешения.

facebook/mms-tts-amh — модель синтеза речи на амхарском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания амхарских текстов и создания синтетической речи. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер генерирует аудиоволну. Стохастический предсказатель длительности позволяет получать варианты с разным ритмом; для повторяемого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Чекпойнт предназначен для амхарского языка; другие языки этим репозиторием не заявлены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Moonshine Tiny JA — компактная модель распознавания речи с архитектурой Moonshine, разработанная Moonshine AI, ранее Useful Sensors. Она преобразует японскую речь из аудио в японский текст и предназначена для разработчиков, которым нужно запускать транскрибацию в реальном времени на устройствах с ограниченными памятью и вычислительными ресурсами. Модель содержит 27 млн параметров, использует архитектуру последовательность-в-последовательность и доступна в формате Safetensors для Transformers; длина контекста — 194 токена. По данным README, модель обучена на 53 900 часах аудио с расшифровками и показала CER 17,87 на Fleurs и 18,3 на Common Voice 17. Среди возможных применений — субтитры и средства доступности, а также транскрибация японской речи на периферийных устройствах. Лицензия указана как other; конкретные условия следует проверять в репозитории модели. Расшифровки могут содержать слова, которых не было в аудио, а последовательная генерация может приводить к повторам. Эти проблемы вероятнее для коротких фрагментов и аудио с обрезанными краями; модель не следует использовать для выводов о людях или решений в критически важных областях. README также содержит противоречивое утверждение об обучении и оценке на арабской задаче, хотя карточка описывает японскую ASR; поэтому языковую специализацию следует трактовать с учётом этого расхождения.

Moonshine Tiny KO — компактная модель распознавания речи, разработанная Moonshine AI и входящая в набор Flavors of Moonshine для малоресурсных устройств. Она преобразует аудио с корейской речью в текст на корейском языке. Модель построена на архитектуре encoder-decoder Moonshine и содержит 27 млн параметров; заявленная длина контекста — 194 токена. Репозиторий использует формат safetensors и библиотеку Transformers. Модель предназначена для разработчиков систем транскрибации корейской речи, которым важны скорость и работа на устройствах с ограниченной памятью и вычислительными ресурсами. В README сообщается о результатах на наборах Fleurs и Common Voice 17 и о превосходстве над сопоставимой по размеру Whisper Tiny; показатели нельзя напрямую переносить на любые аудиозаписи и условия применения. Модель может галлюцинировать слова, которых нет в аудио, и повторять фрагменты текста, особенно на коротких или обрезанных записях. Перед внедрением её следует оценить на целевых данных; не рекомендуется применять для субъективной классификации людей и решений высокого риска. В метаданных указана лицензия other, но её конкретные условия в предоставленных данных не раскрыты.

proxectonos/Nos_ASR-wav2vec2-xls-r-300m-gl — модель распознавания галисийской речи, созданная Proxecto Nós дообучением Facebook Wav2Vec2 XLS-R 300M. Она преобразует аудио в текст и предназначена для транскрибации галисийских записей; модель оценивали на тестовых выборках Common Voice 17.0, OpenSLR77, FalAI, FLEURS и Nos_ParlaSpeech-GL. Архитектура — Wav2Vec2ForCTC, число параметров — 402,7 млн; веса опубликованы в формате safetensors. В README приведены результаты WER, CER и RTF для части корпусов, включая WER 4,39 на FalAI и 7,85 на Common Voice 17.0. Модель распространяется по лицензии Apache-2.0.

Ogaal-Labs/Ogaal-ASR-CT2-INT8 — конвертированная в CTranslate2 модель распознавания речи, основанная на Ogaal-Labs/Ogaal-ASR и предназначенная для запуска через faster-whisper. Исходная модель — дообученный на сомалийской речи Whisper large-v3; конверсия INT8 ориентирована на ускорение инференса на CPU и снижение потребления памяти при сохранении токенизатора и конфигурации для сомалийского языка. Модель принимает аудио и преобразует речь в текст. В README приведён пример транскрибации с faster-whisper на CPU. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и базовой моделью. Подробности обучения, оценки качества и ограничения приведены в карточке исходной модели.

junnei дообучил мультимодальную модель Microsoft Phi-4-multimodal-instruct для распознавания корейской речи. Модель содержит 3,8 млрд параметров, использует архитектуру Phi4MMForCausalLM и доступна в формате safetensors. Для обучения применялись наборы Bingsu/zeroth-korean и Google FLEURS; README также описывает продолжение обучения на CoVoST2-Ko для перевода речи, но основная задача этой версии — распознавание речи. Модель предназначена для преобразования корейской речи в текст. В README приведена оценка CER на тестовом наборе zeroth-test из 457 примеров и сравнение с другими моделями; автор сообщает о заметном улучшении распознавания относительно указанных вариантов Phi-4. Ограничение контекста составляет 4096 токенов. Лицензия в предоставленных данных не указана.

Spark-TTS — двуязычная модель синтеза речи от команды SparkAudio, построенная на архитектуре Qwen2.5. Она использует LLM для предсказания речевых токенов и восстанавливает по ним аудио без отдельной модели генерации акустических признаков; размер модели в карточке указан как 0,5 млрд параметров. Модель предназначена для преобразования текста в естественно звучащую речь на китайском и английском языках. Она поддерживает клонирование голоса без отдельного обучения на голосе говорящего, в том числе между языками и при переключении языков, а также настройку виртуального голоса по параметрам пола, высоты тона и скорости речи. Spark-TTS подходит для персонализированного синтеза речи, вспомогательных технологий и лингвистических исследований. README сообщает о применимости для исследовательских и производственных сценариев, но отмечает, что код обучения и датасет VoxBox ещё не выпущены. Лицензия — CC BY-NC-SA 4.0; проект предназначен для академического, образовательного и иного правомерного использования.

Модель davron04/speecht5_finetuned_uzbek — дообученная версия SpeechT5 от Microsoft для синтеза речи из текста. Она принимает текст и генерирует аудио; название репозитория указывает на настройку для узбекского языка. Модель построена на архитектуре SpeechT5ForTextToSpeech и сохранена в формате safetensors. В README приведено значение loss 0,3794 на оценочном наборе, но сведения о датасете, голосах и условиях обучения отсутствуют. Модель распространяется по лицензии MIT.

AdanLee/speecht5_finetuned_voxpopuli_nl — модель синтеза речи из текста, полученная дообучением microsoft/speecht5_tts на нидерландской части набора facebook/voxpopuli. Она построена на архитектуре SpeechT5 и сохранена в форматах PyTorch и safetensors. Модель предназначена для преобразования нидерландского текста в речь. В README приведено значение loss 0,4725 на оценочном наборе. Базовая SpeechT5 от Microsoft также предназначена для синтеза речи из текста. Модель распространяется по лицензии MIT.

svara-tts-voiceclone-beta — экспериментальная версия многоязычной модели синтеза речи от Kenpath, созданная на основе svara-tts-v1. Она предназначена для преобразования текста в речь на индийских языках и индийском английском, а также для клонирования голоса по короткому аудиопримеру. Модель использует плотную архитектуру LlamaForCausalLM с дискретными аудиотокенами в стиле Orpheus; в метаданных указаны 3,3 млрд параметров и контекст 131 072 токена. Модель поддерживает 19 языков: хинди, бенгальский, маратхи, телугу, каннада, бходжпури, магхия, чхаттисгархи, майтхили, ассамский, бодо, догри, гуджарати, малаялам, пенджаби, тамильский, непальский, санскрит и индийский английский. Она поддерживает клонирование голоса по референсному аудио, выразительную речь с эмоциональными и невербальными подсказками и предназначена для диалоговых систем, IVR, обучения, доступности и создания контента. Заявлены совместимость с GGUF и vLLM и возможность специализации с помощью LoRA. Лицензия — Apache-2.0. Это бета-релиз: сходство голоса может снижаться в длинных высказываниях, качество различается между языками, а эмоциональная выразительность может быть менее надёжной для малоресурсных языков. Клонирование не гарантирует точного воспроизведения голоса; редкие имена и числа могут потребовать нормализации.

Модель oyqiz/uzbek_stt — система распознавания речи на основе wav2vec 2.0 XLS-R, разработанная Фозилжоном Тулкиновым, Шахбозом Зохидовым, Абдурахимом Джабборовым, Яхёхоном Рахимовым и Махмудом Джуманазаровым. Она дообучена на узбекской части Mozilla Common Voice 10.0 и предназначена для преобразования узбекской речи в текст. Модель содержит 402,7 млн параметров. В README указаны результаты обучения: WER 0,2102 и CER 0,1963. Для распознавания используются аудиоданные; результатом является текст. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.

Harveenchadha/vakyansh-wav2vec2-telugu-tem-100 — модель автоматического распознавания речи на телугу, опубликованная Harveen Singh Chadha в рамках проекта Vakyansh. Проект разработан как набор инструментов и моделей для ASR на индийских языках с ограниченными ресурсами; данная модель предназначена для преобразования телугуязычной речи в текст. Модель построена на архитектуре Wav2Vec2ForCTC и использует библиотеку Transformers с PyTorch. Размер модели составляет около 113,3 млн параметров. Она принимает аудио и возвращает транскрипцию на телугу; модель ориентирована на пакетное или потоковое распознавание речи, но качество может снижаться при шуме, музыке, необычной лексике, отличающихся от обучающих данных доменах и речи с сильным акцентом. Длина контекста и условия лицензирования в доступных источниках не установлены.

nlpconnect/vit-gpt2-image-captioning — модель для автоматического создания текстовых описаний изображений. Она разработана на основе VisionEncoderDecoderModel: визуальный энкодер анализирует изображение, а декодер GPT-2 формирует подпись. Репозиторий содержит версию PyTorch модели, первоначально обученной ydshieh во Flax. Модель предназначена для генерации кратких описаний содержимого изображения. Её можно использовать в конвейере Transformers image-to-text для автоматического добавления подписей к изображениям и их текстовой индексации. В карточке не приведены сведения о поддерживаемых естественных языках, размере модели и длине контекста. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает об оценках качества или специальных ограничениях применимости; качество описаний может зависеть от изображения и обучающих данных.

DrishtiSharma/wav2vec2-large-xls-r-300m-pa-IN-dx1 — модель распознавания речи на архитектуре wav2vec2, дообученная на базе facebook/wav2vec2-xls-r-300m на наборе Mozilla Common Voice 8.0 для пенджабского языка, региональный вариант pa-IN. Она преобразует аудио в текст и предназначена для автоматической транскрибации пенджабской речи. В метаданных указано 402,7 млн параметров; модель использует PyTorch и формат весов PyTorch. На тестовой выборке Common Voice 8.0 автор сообщает WER 0,4755 и loss 1,0855. Лицензия — Apache-2.0.

Модель infinitejoy/wav2vec2-large-xls-r-300m-slovak — дообученная версия facebook/wav2vec2-xls-r-300m для распознавания словацкой речи. Она использует архитектуру Wav2Vec2ForCTC и обучена на словацкой части набора Mozilla Common Voice 7.0. Модель принимает аудио и преобразует речь в текст; в карточке приведены результаты оценки на тестовой выборке: WER 0,2481 и loss 0,2915. Модель подходит для транскрибирования записей и голосовых высказываний на словацком языке. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает условия записи и оценки подробно, поэтому качество на других типах аудио по указанным метрикам определить нельзя.

Модель jonatasgrosman/wav2vec2-large-xlsr-53-persian — акустическая модель распознавания речи, дообученная Jonatas Grosman на базе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель предназначена для преобразования персидской речи в текст; обучалась на обучающей и валидационной выборках Common Voice 6.1. На вход подаётся аудио с частотой дискретизации 16 кГц, на выходе — распознанный текст на персидском языке. В карточке приведены результаты на тестовой выборке Common Voice: WER 30,12% и CER 7,37%; фактическое качество зависит от записи и условий речи. Модель опубликована под лицензией Apache-2.0.

Wav2Vec2-Large-XLSR-53-Turkish — модель распознавания речи, дообученная автором ozcangundes на базе facebook/wav2vec2-large-xlsr-53 на турецких данных Common Voice. Она принимает аудио и преобразует речь в текст; для входной записи требуется частота дискретизации 16 кГц. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель предназначена для автоматической транскрибации турецкой речи. В карточке приведён результат 29,62 % на тестовых данных Common Voice, но метрика не уточнена. Веса доступны в формате PyTorch, лицензия — Apache-2.0.

Bagus/wav2vec2-large-xlsr-bahasa-indonesia — модель распознавания индонезийской речи, опубликованная пользователем Bagus. Она основана на архитектуре wav2vec2 и использует CTC-декодирование; размер составляет 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на индонезийском языке в текст и обучалась на Common Voice 6.1 для индонезийского языка. В README указана тестовая ошибка WER 19,3%. Автор сообщает о более новой версии с меньшим размером и WER 5,9%, поэтому этот чекпойнт может уступать актуальной версии. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

skylord/wav2vec2-large-xlsr-hindi — модель распознавания речи, разработанная на основе facebook/wav2vec2-large-xlsr-53 и дообученная для хинди. Она преобразует аудиозапись речи в текст и подходит для транскрибации записей на хинди без отдельной языковой модели. Модель использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Для входного аудио требуется частота дискретизации 16 кГц. При дообучении использовались Common Voice, Indic TTS–IITM и IIITH Indic Speech; автор сообщает о WER 17,23% на пользовательском тестовом наборе и 56,46% на тесте Common Voice Hindi. Модель лицензирована по Apache-2.0. Качество заметно различается между тестовыми наборами; в README также отмечен перекос Common Voice в сторону мужских голосов, поэтому точность может зависеть от состава аудио, акцента и диктора.

vumichien/wav2vec2-large-xlsr-japanese-hiragana — модель распознавания японской речи, дообученная автором на основе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Для обучения применялись данные Common Voice и японский речевой корпус лаборатории Саруватари Токийского университета (JSUT). Модель преобразует японскую речь в текст и рассчитана на входное аудио с частотой дискретизации 16 кГц. В оценке на японской тестовой выборке Common Voice указаны WER 24,74% и CER 10,99%. Репозиторий содержит веса PyTorch и Safetensors; лицензия — Apache-2.0.

Wav2Vec2 XLS-R 300M Cantonese (zh-HK) — модель автоматического распознавания речи, разработанная Wilson Wongso и дообученная на базе Wav2Vec2-XLS-R-300M на подмножестве Common Voice для кантонского языка Гонконга. Модель использует архитектуру XLS-R и класс Wav2Vec2ForCTC; в метаданных указано 406,4 млн параметров. Модель принимает аудио и преобразует речь на кантонском языке в текст. Она создана в рамках Robust Speech Challenge Event; для обучения использовались PyTorch и Common Voice. В README приведены результаты по CER: 31,73% на Common Voice и 23,11% и 23,02% на Common Voice 7 и 8 соответственно. Модель распространяется по лицензии Apache-2.0. Результаты могут наследовать смещения обучающих данных; качество на иных наборах данных и в других условиях записи может отличаться.

YazanSalameh/Whisper-base-Arabic — дообученная модель OpenAI Whisper Base для автоматического распознавания арабской речи и преобразования аудио в текст. Она основана на архитектуре Whisper с 51,7 млн параметров и распространяется в формате safetensors по лицензии Apache-2.0. Модель обучалась на арабских данных Common Voice 16.0, MGB-2 и Jordan-Audio. В карточке приведён результат на оценочной выборке: WER 34,7 и loss 0,44; для проверки использовались 600 примеров из трёх наборов данных. Оценка ограничена небольшим объёмом выборки, а автор предлагает подбирать способ интерпретации точности самостоятельно.

Whisper Gujarati Medium — модель распознавания речи на основе Whisper Medium, дообученная Vasista22 на открытых корпусах аудиозаписей на гуджарати в рамках спринта по дообучению Whisper. Модель принимает аудио и генерирует текстовую транскрипцию; её можно применять для расшифровки речи на гуджарати и оценки качества распознавания на тестовых наборах. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров. В обучении использовались ULCA ASR Corpus, Microsoft Speech Corpus для индийских языков, набор Google Fleurs и OpenSLR; оценка проводилась на тестовых данных Microsoft Speech Corpus и Google Fleurs. Лицензия — Apache 2.0. README не приводит длину контекста или численные результаты оценки.

mikr/whisper-large-czech-cv11 — дообученная модель автоматического распознавания речи на базе Whisper Large от OpenAI. Она обучена на чешской части датасета Mozilla Common Voice 11.0 и предназначена для транскрибирования чешской речи в текст. В архитектуре WhisperForConditionalGeneration около 905,2 млн параметров; веса доступны в форматах PyTorch и Safetensors. На тестовой выборке автор приводит WER 10,8278 и loss 0,2528. Модель распространяется по лицензии Apache-2.0.

arampacha/whisper-large-hy — дообученная модель распознавания речи на основе openai/whisper-large-v2, разработанная автором репозитория arampacha. Модель предназначена для преобразования аудиозаписей в текст; в карточке указана оценка WER 19,9869 на наборе Common Voice 11.0. Модель относится к семейству Whisper, использует архитектуру WhisperForConditionalGeneration и содержит около 905,2 млн параметров. Она принимает аудио и выдаёт текст; языковой тег hy указывает на армянский язык. Обучение проводилось на Common Voice 11.0, а метаданные также связывают модель с набором Google Fleurs. Репозиторий распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не содержит подробностей о сценариях использования и ограничениях качества, кроме приведённой оценки на тестовом наборе; результаты на других данных могут отличаться.

steja/whisper-large-persian — дообученная версия Whisper large-v2-hi для автоматического распознавания персидской речи. Модель разработана на основе anuragshas/whisper-large-v2-hi и дообучена на персидской части набора Mozilla Common Voice 11.0. Это плотная модель Whisper с архитектурой WhisperForConditionalGeneration и 905,2 млн параметров. Модель принимает аудио и генерирует распознанный текст на персидском языке. На тестовой выборке указаны значения loss 0,3047 и WER 26,3679. Репозиторий содержит веса PyTorch; модель распространяется по лицензии Apache-2.0.

Whisper large-v3-Persian — дообученная модель распознавания речи, созданная Mohammad Khosravi на основе openai/whisper-large-v3. Она принимает аудио и генерирует текстовую транскрипцию на персидском языке. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и доступна в формате safetensors для библиотеки Transformers. Модель дообучена на наборе Common Voice 11.0. В README приведён результат на тестовой выборке: WER 26,8658 и loss 0,2444. Репозиторий распространяется по лицензии Apache-2.0.