I.15Доступность и ассистивные технологии

Moonshine Streaming Small — англоязычная модель распознавания речи от Useful Sensors. Это последовательная encoder-decoder модель: лёгкий аудиофронтенд формирует признаки, потоковый Transformer-энкодер с ограниченным локальным вниманием обрабатывает скользящие окна, а авторегрессионный Transformer-декодер выдаёт транскрипт. В карточке указано 123 млн параметров для варианта Small; метаданные репозитория сообщают 58,7 млн параметров, поэтому размер следует считать противоречивым. Модель предназначена для низколатентной транскрипции на устройствах с ограниченными ресурсами, включая живые субтитры, голосовые команды и преобразование речи в текст в реальном времени. Обучена и оценивалась для английского языка; использует аудио на входе и текст на выходе. Локальное внимание энкодера ограничивает объём контекста, а авторегрессионная генерация увеличивает задержку полного результата по мере роста транскрипта. Реализация в Transformers пока не обеспечивает полностью эффективную потоковую обработку и опирается на flash-attention для скользящего внимания. Модель может галлюцинировать слова и повторять фразы, особенно на коротких или зашумлённых записях; её не следует применять для задач за пределами английского ASR без отдельной оценки. Лицензия — MIT.

Карточка модели 0x3/moonshine-tiny-ja на Hugging Face совпадает с карточкой moonshine-ai/moonshine-tiny-ja, поэтому описание составлено по ней. Moonshine Tiny JA — компактная модель распознавания речи с архитектурой Moonshine, разработанная Moonshine AI, ранее Useful Sensors. Она преобразует японскую речь из аудио в японский текст и предназначена для разработчиков, которым нужно запускать транскрибацию в реальном времени на устройствах с ограниченными памятью и вычислительными ресурсами. Модель содержит 27 млн параметров, использует архитектуру последовательность-в-последовательность и доступна в формате Safetensors для Transformers; длина контекста — 194 токена. По данным README, модель обучена на 53 900 часах аудио с расшифровками и показала CER 17,87 на Fleurs и 18,3 на Common Voice 17. Среди возможных применений — субтитры и средства доступности, а также транскрибация японской речи на периферийных устройствах. Лицензия указана как other; конкретные условия следует проверять в репозитории модели. Расшифровки могут содержать слова, которых не было в аудио, а последовательная генерация может приводить к повторам. Эти проблемы вероятнее для коротких фрагментов и аудио с обрезанными краями; модель не следует использовать для выводов о людях или решений в критически важных областях. README также содержит противоречивое утверждение об обучении и оценке на арабской задаче, хотя карточка описывает японскую ASR; поэтому языковую специализацию следует трактовать с учётом этого расхождения.

Pathumma-llm-vision-1.0.0 — мультимодальная языковая модель, разработанная командой NECTEC и дообученная на базе HuggingFaceM4/Idefics3-8B-Llama3. Модель содержит 8 млрд параметров и сочетает обработку изображений с генерацией текста; её основные задачи — ответы на вопросы об изображениях и создание подписей к ним. Модель предназначена для приложений доступности, образовательных инструментов и взаимодействия с визуальным контентом. В README описано дообучение на тайских данных, включая наборы для подписей к изображениям и текстовые данные, а также на синтетических примерах. Указаны языки тайский и английский; результаты оценки на IPU24 приведены для тайского набора данных. В README сообщается о результате SacreBLEU 17,66370 на IPU24 и точности 30,34% на частном наборе для VQA. К ограничениям отнесены возможные смещения обучающих данных и снижение качества на незнакомых изображениях или нестандартных формулировках вопросов. Лицензия в карточке обозначена как «Specify License», поэтому условия использования по предоставленным сведениям установить нельзя.

MOHAMEDOMAR25/somali-wav2vec2-mode — дообученная модель Wav2Vec2ForCTC для автоматического распознавания речи на сомалийском языке. Она преобразует сомалийскую аудиозапись в текст и используется как основа веб-приложения для создания субтитров к видео. Модель содержит 402,7 млн параметров и распространяется в формате safetensors. Её можно применять через библиотеку Transformers для транскрибации речи и подготовки текста для субтитров; Apache-2.0 разрешает использование на условиях этой лицензии. Для длинных видео пример приложения использует разбиение аудио на фрагменты с помощью обнаружения речевой активности. Карточка не приводит оценок качества или ограничений распознавания.

dinesh480/telugu-whisper-finetuned — модель распознавания речи на телугу, разработанная на основе Swecha Gonthuka ASR и дообученная на пользовательском наборе телугуязычных аудиозаписей. Она использует архитектуру Wav2Vec2ForCTC и преобразует речь в текст на телугу в Unicode. Модель подходит для транскрибации, голосовых помощников, создания субтитров, образовательных приложений и анализа речи. Модель принимает монофонический звук WAV с частотой дискретизации 16 кГц; размер составляет 113,3 млн параметров. Репозиторий использует Transformers и хранит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Качество может снижаться при сильном фоновом шуме, нескольких говорящих, низком качестве записи и региональных акцентах, отсутствовавших в обучающих данных. README не приводит количественных результатов оценки.

TimeChat-Captioner-GRPO-7B — мультимодальная модель на 7 млрд параметров, дообученная на базе Qwen/Qwen2.5-Omni-7B. Она анализирует многосценовые видео и создаёт подробные, структурно связные описания с привязкой событий ко времени, согласуя визуальную и аудиоинформацию. Модель предназначена для автоматического составления временных субтитров и описаний видеоконтента. Для качественной разметки README рекомендует обрабатывать видео длительностью около минуты или разбивать более длинные ролики на отрезки примерно по 60 секунд. Модель опубликована в формате safetensors и рассчитана на работу через Transformers. Язык лицензии в доступных данных не указан, поэтому условия использования определить нельзя.

joefox/tts_vits_ru_hf — модель синтеза речи на русском языке на архитектуре VITS, представленная в формате safetensors. Она преобразует текст в аудио; входной текст должен быть набран строчными буквами. В карточке приведён пример прослушивания синтезированной речи в Jupyter Notebook или Google Colab. Модель предназначена для русскоязычного синтеза речи. Её можно использовать для озвучивания текста и создания аудиовыхода из текстовых фраз. Объём параметров в метаданных указан как 888,9 тыс.; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

ai4bharat/vits_rasa_13 — модель синтеза речи на основе архитектуры VITS, дообученная AI4Bharat для индийских языков. Она преобразует текст в речь и предназначена для разговорных интерфейсов, аудиокниг и других приложений озвучивания. Модель поддерживает ассамский, бенгальский, бодо, догри, каннада, майтхили, малаялам, маратхи, непальский, пенджаби, санскрит, тамильский и телугу, а также различные стили, эмоции и предустановленные мужские и женские профили дикторов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — CC BY 4.0.

oyemade/w2v-bert-2.0-hausa-CV17.0 — модель распознавания речи, дообученная на Hausa из Common Voice 17.0 на базе facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2-BERT с CTC-декодированием и содержит около 402,7 млн параметров. Предназначена для преобразования аудиозаписей на хауса в текст; в README указана оценка WER 0,0695 на наборе оценки. Модель принимает аудио и выдаёт текст. Репозиторий содержит веса в формате Safetensors. Лицензия — MIT. Оценка качества приведена для набора оценки Common Voice 17.0 и не гарантирует такой же результат на других акцентах, условиях записи или предметных областях.

Wav2Vec2-Base-VoxPopuli-Finetuned — модель распознавания речи, разработанная Facebook AI. Она основана на Wav2Vec2 Base: модель предварительно обучили на 10 тысячах неразмеченных фрагментов корпуса VoxPopuli, а затем дообучили на расшифрованных аудиозаписях этого корпуса. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров; модель принимает аудио и выдаёт текстовую расшифровку на итальянском языке. Модель предназначена для автоматического распознавания итальянской речи, например для транскрибации записей и подготовки текстовых субтитров. В README приведён пример инференса на образце Common Voice. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

arfik/wav2vec2-large-mms-1b-kyrgyz-colab — модель распознавания речи, дообученная на базе facebook/mms-1b-all на наборе Common Voice 17.0. Она использует архитектуру wav2vec2 с CTC-выходом и содержит 1,3 млрд параметров. Модель предназначена для преобразования кыргызской речи в текст; на указанной в карточке оценочной выборке результат WER составил 0,2312, а loss — 0,2384. Базовая модель поддерживает более тысячи языков, но эта версия настроена на кыргызский. Модель принимает аудио и выдаёт текст. Для использования весов применяется библиотека Transformers, файлы опубликованы в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

kingabzpro/wav2vec2-large-xls-r-1b-Swedish — дообученная на шведской части Common Voice модель распознавания речи на базе facebook/wav2vec2-xls-r-1b. Это плотная архитектура Wav2Vec2ForCTC с 1,3 млрд параметров, принимающая аудио и выдающая распознанный текст на шведском языке. Модель предназначена для автоматической транскрипции шведской речи. В оценке на тестовой выборке Common Voice 8.0 показатель WER составил 18,44 без языковой модели и 14,04 с языковой моделью; CER — соответственно 5,75 и 4,86. Для использования языковой модели требуется соответствующая внешняя языковая модель. Модель распространяется под лицензией Apache-2.0. Оценка приведена для Common Voice 8.0; качество на других наборах данных и в реальных акустических условиях может отличаться.

Модель ravirajoshi/wav2vec2-large-xls-r-300m-marathi — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на маратхи. Она принимает аудио и преобразует речь в текст; в карточке приведены результаты оценки: WER 0,2156 и loss 0,5656. Модель построена на архитектуре wav2vec2 с CTC-выходом, содержит 402,7 млн параметров и распространяется в формате PyTorch. Модель подходит для расшифровки записей и речи на маратхи. Лицензия Apache-2.0 разрешает использование, изменение и распространение с соблюдением её условий. Результаты распознавания могут содержать ошибки, особенно на аудио, отличающемся от условий оценки.

Это дообученная модель распознавания речи tomascufaro/wav2vec2-large-xls-r-300m-spanish-custom, созданная на основе facebook/wav2vec2-xls-r-300m и обученная на Common Voice. Модель использует архитектуру wav2vec2 с CTC-декодером и принимает аудио, преобразуя речь в текст; заявленная задача — автоматическое распознавание речи. На оценочной выборке указаны loss 0,4426 и WER 0,2117. Модель предназначена для распознавания испанской речи, однако подробности о варианте испанского, настройках аудио и качестве в разных условиях не приведены. Веса опубликованы в формате PyTorch, лицензия — Apache-2.0.

tomascufaro/wav2vec2-large-xls-r-300m-spanish-small-v3 — дообученная модель распознавания речи на базе jhonparra18/wav2vec2-large-xls-r-300m-spanish-custom. Она использует архитектуру wav2vec2 с классификационной головой CTC и предназначена для преобразования испанской речи в текст. Модель обучалась на Common Voice; в карточке указаны значения Loss 0,3986 и WER 0,1980 на наборе оценки. Репозиторий содержит веса PyTorch и насчитывает около 402,7 млн параметров. Лицензия в доступных данных не указана.

jonatasgrosman/wav2vec2-large-xlsr-53-arabic — модель распознавания арабской речи, созданная Jonatas Grosman на основе facebook/wav2vec2-large-xlsr-53. Модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC содержит 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц, преобразуя его в текст на арабском языке. Модель дообучена на обучающей и валидационной частях Common Voice 6.1 и Arabic Speech Corpus. В оценке на тестовых данных Common Voice для неё указаны WER 39,59% и CER 18,18%; результаты зависят от набора данных и процедуры оценки. Подходит для преобразования арабской речи в текст и транскрибирования аудиозаписей. Распространяется по лицензии Apache-2.0.

jonatasgrosman/wav2vec2-large-xlsr-53-french — модель распознавания французской речи от Jonatas Grosman, дообученная на базе facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель преобразует аудиозаписи французской речи в текст и рассчитана на распознавание речи с частотой дискретизации 16 кГц. В карточке описана прямая расшифровка без языковой модели; также приведены сценарии оценки на тестовой выборке Common Voice 6.0 и наборе speech-recognition-community-v2. Модель распространяется по лицензии Apache-2.0. Точность может зависеть от качества записи и отличий речи от данных Common Voice, на которых модель дообучалась.

jonatasgrosman/wav2vec2-large-xlsr-53-hungarian — модель распознавания венгерской речи, созданная Jonatas Grosman дообучением facebook/wav2vec2-large-xlsr-53. Это архитектура Wav2Vec2ForCTC примерно с 402,7 млн параметров; обучение проводилось на обучающей и проверочной выборках Common Voice 6.1 и CSS10. Модель принимает аудио и выдаёт текстовую транскрипцию. Для распознавания входное аудио следует подавать с частотой дискретизации 16 кГц. В README приведены результаты оценки на венгерской тестовой выборке Common Voice: WER 31,40% и CER 6,20%; автор предупреждает, что результаты могут отличаться в зависимости от особенностей сценария оценки. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

Wav2Vec2-Large-XLSR-53-Romanian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на румынском языке с использованием Common Voice. Она принимает аудиозапись речи с частотой дискретизации 16 кГц и преобразует её в текст; модель можно применять напрямую, без отдельной языковой модели. Архитектура — Wav2Vec2ForCTC, число параметров — 402,7 млн. В карточке приведён результат оценки 28,43% на тестовой части Common Voice, но метрика не уточнена. Модель распространяется под лицензией Apache-2.0; доступны веса в форматах PyTorch и Flax.

Это модель автоматического распознавания речи на бенгальском языке, созданная дообучением facebook/wav2vec2-xls-r-300m командой или автором arijitx на наборе OPENSLR_SLR53. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, преобразуя речь в текст. В метаданных указано 402,8 млн параметров; модель доступна в формате PyTorch. Модель предназначена для транскрибации бенгальской речи. На тестовой выборке без языковой модели автор сообщает WER 0,217 и CER 0,047; с пятиграммовой языковой моделью, обученной на данных AI4Bharat IndicCorp, показатели составили WER 0,153 и CER 0,034. Для использования результата с языковой моделью потребуется соответствующая внешняя языковая модель. Модель распространяется по лицензии Apache-2.0. Оценка проведена на 5% из 10 935 примеров; README приводит неоднозначное описание разбиения, поэтому точную процедуру формирования тестовой выборки следует учитывать при сравнении результатов.

aasem/wav2vec2-xls-r-300m-Urdu — модель автоматического распознавания речи, созданная дообучением модели Facebook wav2vec2 XLS-R 300M на наборе Common Voice 8.0 для урду. Она принимает аудио и преобразует речь на урду в текст; архитектура — Wav2Vec2ForCTC на основе wav2vec2, объём модели по метаданным составляет 402,7 млн параметров. В карточке приведены результаты на Common Voice: WER 0,2459 и CER 0,0691. Модель предназначена для транскрибирования записей и голосовых сообщений на урду. Репозиторий содержит веса PyTorch, для работы используется Transformers. Лицензия — MIT. Карточка приводит оценку на Common Voice, однако не описывает качество на других наборах данных и в иных акустических условиях.

Whisper Medium Romanian — модель распознавания речи, созданная дообучением gigant на базе openai/whisper-medium. Она преобразует румынскую речь в текст и рассчитана на расшифровку аудио, включая записи, похожие на обучающие данные из Common Voice 11.0 и румынского корпуса синтезированной речи. Модель использует архитектуру Whisper и содержит 455,8 млн параметров. Для оценки применялся тестовый набор Common Voice 11.0; в карточке указана метрика WER 4,717. Модель принимает аудио и выдаёт текст, поддерживаемый язык — румынский. Лицензия — Apache-2.0.

zuazo/whisper-small-es — дообученная модель распознавания речи на основе openai/whisper-small, созданная на датасете испанской речи Common Voice 13.0. Она предназначена для преобразования испанской речи в текст. Архитектура — WhisperForConditionalGeneration; модель содержит 153,1 млн параметров и работает с аудио на входе. В README для оценки на тестовой выборке указаны Loss 0,2212 и WER 8,2668. Модель распространяется по лицензии Apache-2.0, разрешающей использование, изменение и распространение с указанием авторов.

abdouaziz/wolof_wlarge — модель автоматического распознавания речи из экосистемы Hugging Face Transformers, опубликованная пользователем abdouaziz. По названию модели предназначена для распознавания речи на языке Wolof, а тег whisper указывает на принадлежность к семейству моделей Whisper.

shpotes/xls-r-et — модель распознавания речи на основе архитектуры Wav2Vec2, дообученная автором на facebook/wav2vec2-xls-r-300m для эстонского языка на наборе MOZILLA-FOUNDATION/COMMON_VOICE_7_0. Модель принимает аудио и преобразует речь в текст; она предназначена для автоматической транскрибации эстонской речи. В репозитории указаны 402,7 млн параметров и веса PyTorch. На оценочной выборке Common Voice 7.0 для эстонского языка приведены Loss 0,4835 и WER 0,3475. Модель распространяется по лицензии Apache-2.0.

Ava-82M — компактная модель синтеза персидской речи, выпущенная Nimruz и дообученная на базе hexgrad/Kokoro-82M на примерно 20 часах данных Mana-TTS. Акустическая сеть содержит 81 763 410 параметров и использует архитектуру вывода Kokoro, производную от StyleTTS2/iSTFTNet; отдельный фронтенд преобразует персидский текст в фонемы. Модель генерирует речь с частотой 24 кГц одним голосом. Модель предназначена для озвучивания персидского текста, включая нормализацию чисел, дат и распространённых числовых выражений. Фронтенд поддерживает контекстное преобразование графем в фонемы, пользовательские варианты произношения и автоматическое разбиение длинного текста. В README описаны улучшения интонации, темпа, произношения и стабильности относительно предыдущей версии, однако формальных оценок качества речи пока нет. Это исследовательский выпуск v0.2. Иногда речь звучит роботизированно, возможны артефакты, ошибки в редких именах и словах, а на стыках частей длинного текста могут быть заметны соединения. Модель проверена преимущественно на современном иранском персидском; доступен один голос. Лицензия репозитория — Apache-2.0.

Bark small — небольшая версия трансформерной модели генерации аудио по тексту, разработанной Suno. Она предназначена для синтеза многоязычной речи, а также может создавать музыку, фоновый шум, простые звуковые эффекты и невербальные вокализации, например смех, вздохи и плач. Модель состоит из последовательных трансформерных этапов: преобразования текста в семантические токены, семантических токенов в грубые аудиотокены и их детализации. В карточке для варианта small указано по 80 млн параметров для каждого этапа; веса доступны в формате PyTorch. Поддерживаются английский, немецкий, испанский, французский, хинди, итальянский, японский, корейский, польский, португальский, русский, турецкий и китайский языки. Bark подходит для генерации речи и других аудиофрагментов из текста; авторы отмечают потенциал для инструментов доступности и творческих приложений. Вывод не цензурируется, качество и точность генерации могут различаться, а модель может быть использована для нежелательного синтеза голоса. Лицензия — MIT; авторы предоставляют чекпойнты для инференса и обозначают модель как предназначенную для исследований.

BuzzASR/georgian — монолингвальная модель распознавания речи на грузинском языке, разработанная в рамках набора BuzzASR из 102 языковых моделей. Она создана полным дообучением OpenAI Whisper large-v3 с заменой токенизатора на грузинский и дополнительным обучением на текстовых данных. Модель принимает аудио и генерирует текст; её основная задача — транскрибация грузинской речи. В оценке на объединённом тестовом наборе FLEURS и Common Voice 25 модель показала CER 12,54% и WER 39,39%; CER у Whisper large-v3 без дообучения составил 19,43%. Обучение использовало данные FLEURS, Common Voice Corpus 25.0 и текстовый корпус Goldfish. Модель содержит около 907,3 млн параметров, основана на архитектуре Whisper и распространяется в формате Safetensors через Transformers. Модель предназначена для распознавания грузинской речи. Она оценивалась на тестовых выборках FLEURS и Common Voice; качество на других предметных областях и диалектах может отличаться. Лицензия — MIT.

Indic Parler-TTS — многоязычная модель синтеза речи, созданная в сотрудничестве аудиокоманды Hugging Face и AI4Bharat. Это дообученная версия Indic Parler-TTS Pretrained на датасете объёмом 1 806 часов; модель относится к семейству Parler-TTS и использует библиотеку Transformers. Она преобразует текст в речь, а дополнительное текстовое описание позволяет задавать характеристики звучания: голос, темп, высоту, эмоциональную окраску, выразительность, шум и реверберацию. Модель официально поддерживает 21 язык: ассамский, бенгальский, бодо, догри, английский, гуджарати, хинди, каннада, конкани, майтхили, малаялам, манипури, маратхи, непальский, ория, санскрит, сантали, синдхи, тамильский, телугу и урду. В README также заявлена неофициальная поддержка чхаттисгархи, кашмири и панджаби. Доступно 69 голосов; управление эмоциями официально описано для десяти языков. Модель распространяется по лицензии Apache-2.0.

Indic Parler-TTS Pretrained — многоязычная модель синтеза речи, разработанная командами AI4Bharat и Hugging Face как расширение Parler-TTS Mini. Она преобразует текст в речь и принимает описание желаемого звучания: тембра, скорости, высоты голоса, эмоции, качества записи, шума и реверберации. Модель обучена на 8 385 часах многоязычных данных и поддерживает 21 язык: ассамский, бенгальский, бодо, догри, английский, гуджарати, хинди, каннада, конкани, майтхили, малаялам, манипури, маратхи, непали, ория, санскрит, сантали, синдхи, тамильский, телугу и урду. В карточке заявлены 69 голосов; настройка эмоций официально поддерживается для десяти языков. Для некоторых других языков возможно экспериментальное использование эмоциональных подсказок, также заявлена неофициальная поддержка чхаттисгархи, кашмири и пенджаби. Модель подходит для озвучивания текстов на индийских языках и английском, а также для генерации речи с заданными голосовыми характеристиками и манерой подачи. Для отдельных языков и акцентов качество и управляемость могут различаться; дополнительные языки, акценты и эмоциональные режимы не следует считать одинаково проверенными. Лицензия — Apache-2.0.