I.9Аудио и музыка

NeuTTS-Nano — акустическая модель синтеза речи, представленная в официальном репозитории в формате GGUF BF16. Она предназначена для генерации голоса из текста в сценариях с низкой задержкой, включая локальный запуск на периферийных устройствах и речевые конвейеры реального времени. Для выполнения модель рассчитана на GGUF-совместимые среды, например llama.cpp; размер файла составляет 446 МБ. Репозиторий ориентирован на английский язык, а варианты для французского, немецкого и испанского размещены отдельно. Модель распространяется по лицензии Apache-2.0.

PhoWhisper-large — модель автоматического распознавания речи на вьетнамском языке, разработанная Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Она создана тонкой настройкой многоязычной Whisper и предназначена для преобразования вьетнамской речи в текст. Модель относится к семейству Whisper, использует архитектуру WhisperForConditionalGeneration и содержит около 905,2 млн параметров. Авторы обучали семейство PhoWhisper на 844-часовом наборе данных с разными вьетнамскими акцентами; в описании исследования сообщается о высоких результатах на тестах распознавания вьетнамской речи. Репозиторий содержит веса PyTorch. Модель подходит для транскрибации вьетнамской речи с различными акцентами. Она рассчитана на аудиовход и выдаёт текст; данных о поддержке других языков этой версией нет. Лицензия — BSD 3-Clause.

Qwen-Audio — мультимодальная большая аудиоязыковая модель семейства Qwen, разработанная Alibaba Cloud. Она принимает речь, природные звуки, музыку, пение и текст, а на выходе формирует текст. Модель рассчитана на универсальное понимание аудио и поддерживает более 30 задач без отдельной настройки под каждую из них. Модель имеет плотную архитектуру QWenLMHeadModel и содержит 11,4 млрд параметров; заявленная длина контекста — 2048 токенов. В карточке отмечены китайский и английский языки. Среди сценариев — распознавание речи, ответы на вопросы об аудиозаписях, классификация звуков и анализ музыки. Это предварительно обученная модель; Qwen-Audio-Chat — отдельная версия, полученная инструкционным дообучением, и её возможности не следует автоматически приписывать этой модели. README сообщает о сильных результатах на тестовых наборах AISHELL-1, cochlscene, ClothoAQA и VocalSound, но не приводит численных оценок. Для запуска указаны Python 3.8+, PyTorch 1.12+ и FFmpeg; для пользователей GPU рекомендована CUDA 11.4+. Лицензия в предоставленных данных не указана.

Talha/URDU-ASR — дообученная модель распознавания речи на базе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования аудиозаписей на урду в текст. В README приведены результаты оценки на отложенной выборке: WER 0,2423, CER 0,0842 и loss 0,2822; автор сообщает о разбиении данных на обучающую и оценочную части в пропорции 80:20. Модель содержит около 402,7 млн параметров, распространяется в формате PyTorch и опубликована по лицензии Apache-2.0. README не называет использованный датасет и не описывает дополнительные сценарии применения; результаты оценки относятся к указанному автором разбиению данных.

VibeVoice-ASR-Streaming-7B — потоковая модель распознавания речи семейства VibeVoice, представленная в карточке как модель для транскрибации с указанием говорящего. Она обрабатывает поступающую речь и связывает распознанный текст с тем, кто его произнёс; пользовательские горячие слова помогают распознавать имена и специальные термины. Модель поддерживает китайский, английский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки. В метаданных указаны архитектура VibeVoice, класс VibeVoiceForASRStreamingTraining, библиотека Transformers и формат safetensors. Размер 7B следует из названия модели. Лицензия — MIT. Карточка направляет к репозиторию microsoft/VibeVoice за кодом и инструкциями по использованию. Подробные сведения о контекстном окне, качестве распознавания и ограничениях в предоставленных материалах отсутствуют.

VoiceCLAP-Small-v2 — контрастивная модель для совместного представления голоса и текста, разработанная LAION как версия laion/voiceclap-small с дополнительным обучением на коротких эмоционально ориентированных описаниях аудио. Она использует двухбашенную архитектуру CLAP: аудиобашню на основе BUD-E-Whisper_V1.1 и текстовую башню на основе MiniLM-L6-v2, после которых применяются отдельные MLP-проекции; обучение проводилось с контрастивной функцией потерь SigLIP. Модель предназначена для получения сопоставимых эмбеддингов речи и текстовых описаний, в частности для анализа эмоций и разговорного стиля, а также поиска соответствия между голосовым фрагментом и текстом. В README сообщается об улучшении относительно первой версии на измеренных бенчмарках, включая EmoNet-Voice, при том же размере и стоимости инференса. Аудиоэнкодер имеет 12 слоёв, размерность 768 и 12 голов внимания, принимает 80-мерные мел-спектрограммы с частотой 16 кГц; текстовый энкодер MiniLM имеет 6 слоёв и размерность 384 с усреднением токенов. Модель поддерживает английский, немецкий, французский, испанский и китайский языки. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Показатели бенчмарков из README не гарантируют качество на иных данных и задачах; для практического поиска нужно отдельно организовать вычисление и сравнение эмбеддингов.

Модель kiranpantha/w2v-bert-2.0-nepali — дообученная версия facebook/w2v-bert-2.0 для автоматического распознавания непальской речи. Она принимает аудио и выдаёт текст; архитектура Wav2Vec2-BERT реализована классом Wav2Vec2BertForCTC. Модель содержит 402,7 млн параметров и обучалась на наборе OpenSLR54-Balanced-Nepali. На указанном в карточке наборе оценки получены Loss 0,2212, WER 0,2525 и CER 0,0565. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — MIT. Карточка не описывает дополнительные сценарии, языки помимо непальского или практические ограничения качества; приведённые метрики относятся только к указанной оценочной выборке.

Anujgr8/wav2vec2-base-Tamil-large — дообученная на базе facebook/wav2vec2-base-960h модель распознавания речи на архитектуре wav2vec 2.0 с классификационной головой CTC. Она преобразует аудио в текст и предназначена для транскрибирования речи на тамильском языке. Модель содержит 113,3 млн параметров и распространяется в формате Safetensors по лицензии Apache-2.0. В README приведены результаты оценки: WER 0,3470 и CER 0,0610, а также значение loss 0,3015. Датасет обучения и подробности предполагаемых сценариев использования не описаны.

DylanonWic/wav2vec2-large-asr-th-2 — модель распознавания речи на базе архитектуры Wav2Vec2, разработанная для автоматического распознавания тайской речи. Модель содержит 402,7 млн параметров и опубликована в формате PyTorch для библиотеки Transformers. В карточке указано дообучение на датасете Common Voice, включая Common Voice 10.0. Основной сценарий применения — преобразование тайской речи в текст. Для оценки на тестовой выборке приведены WER 32,99% и CER 3,75%. Описание не раскрывает дополнительные сценарии и ограничения качества; результат может зависеть от акустических условий и соответствия аудио обучающим данным. Лицензия в предоставленных данных не указана.

AAkhilesh/wav2vec2-large-xls-r-300m-ta-colab — модель распознавания речи, дообученная на базе facebook/wav2vec2-xls-r-300m на наборе Common Voice. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования аудиозаписей в текст; по названию модели она ориентирована на распознавание тамильской речи. Модель содержит 402,7 млн параметров, распространяется в формате PyTorch и доступна по лицензии Apache-2.0. Карточка не приводит сведения о точности, условиях записи или подробной оценке качества, поэтому пригодность для конкретных аудиоданных следует проверять отдельно.

agkphysics/wav2vec2-large-xlsr-53-amharic — модель распознавания амхарской речи, созданная дообучением Wav2Vec2 XLSR-53 на корпусе Amharic Speech Corpus, подготовленном Abate и соавторами. Архитектура — Wav2Vec2ForCTC, число параметров — около 402,9 млн; модель принимает аудио и преобразует речь в текст. Модель предназначена для автоматической транскрипции амхарской речи, в том числе записей на чтение. На проверочной выборке Amharic Readspeech указаны WER 26% и CER 7%. Распространяется по лицензии MIT.

arbml/wav2vec2-large-xlsr-53-arabic-egyptian — модель распознавания речи на основе Wav2Vec2-Large-XLSR-53, дообученная для арабского египетского варианта. Карточка README противоречиво называет её Tamil, тогда как идентификатор модели указывает на арабский египетский; поэтому язык назначения нельзя установить уверенно. В метаданных указаны архитектура Wav2Vec2ForCTC, 402,7 млн параметров и обучение на Common Voice. Модель принимает речь в аудио с частотой дискретизации 16 кГц и преобразует её в текст. Для распознавания можно использовать без языковой модели. Репозиторий содержит веса PyTorch и Flax, задача Hugging Face — automatic-speech-recognition. Лицензия — Apache-2.0. README не содержит пригодного результата оценки качества.

DeividasM разработал эту модель, дообучив facebook/wav2vec2-large-xlsr-53 на литовской речи из Common Voice. Это аудиомодель распознавания речи с архитектурой Wav2Vec2ForCTC и 402,7 млн параметров; она принимает речь, записанную с частотой дискретизации 16 кГц, и преобразует её в текст на литовском языке. Модель подходит для транскрибации аудиозаписей и оценки распознавания на тестовых данных Common Voice. В README приведён результат тестирования 56,55%, без уточнения метрики. Модель доступна по лицензии Apache-2.0.

Это модель автоматического распознавания речи на тайском языке, разработанная Wannaphong и обученная дообучением wav2vec2-large-xlsr-53 на данных Common Voice V8 с добавлением данных Common Voice V7. Модель использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров; распознанные слова предварительно токенизировались по алгоритму newmm из PyThaiNLP. Модель предназначена для преобразования тайской речи в текст, например для транскрибирования записей и оценки систем распознавания речи. В тестах на наборах Common Voice V8 и V7 автор приводит показатели WER и CER; результаты зависят от тестового набора и способа токенизации текста. Доступны веса PyTorch и safetensors. Лицензия — Apache-2.0.

Модель not-tanh/wav2vec2-large-xlsr-53-vietnamese — модель распознавания речи на базе Wav2Vec2-Large-XLSR-53, дообученная разработчиком на вьетнамском языке. Для обучения использовались Common Voice, VIVOS и FOSD; архитектура — Wav2Vec2ForCTC, размер — 402,8 млн параметров. Модель преобразует речь на вьетнамском языке в текст и предназначена для сценариев автоматического распознавания речи. Входное аудио следует подавать с частотой дискретизации 16 кГц. В README приведён результат оценки 39,57% на тестовых данных Common Voice, однако метрика не уточнена. Модель распространяется по лицензии Apache 2.0. Карточка не описывает применение языковой модели при декодировании; приведённый результат оценки не позволяет однозначно судить о качестве в других условиях.

asini/wav2vec2-timit-demo — дообученная модель распознавания речи на базе facebook/wav2vec2-base, созданная сообществом Hugging Face. Это модель архитектуры Wav2Vec2ForCTC с 113,3 млн параметров, принимающая аудио и выдающая распознанный текст. В карточке приведены результаты оценки: loss 0,4847 и WER 0,3462; подробности о наборе данных и сценариях обучения не описаны. Модель опубликована в формате PyTorch под лицензией Apache-2.0.

Это модель автоматического распознавания речи на основе Wav2Vec2-XLS-R, разработанная shahruk10 и дообученная на базе arijitx/wav2vec2-xls-r-300m-bengali. Она преобразует бенгальскую речь в текст и предназначена прежде всего для аудио с бангладешским акцентом. Обучение проводилось примерно на 300 часах аудио Common Voice 9.0 с частотой 16 кГц; для декодирования использовалась языковая модель 5-грамм. В метаданных указаны архитектура Wav2Vec2ForCTC и 402,8 млн параметров. На валидационной выборке соревнования BUET CSE Fest 2022 DL Sprint модель показала CER 0,08079 и WER 0,017939 с 5-граммной языковой моделью и заняла первое место в публичном и приватном рейтингах соревнования. Эти показатели относятся к конкретным данным и настройке декодирования; тестовые метки организаторы не предоставили. Модель распространяется по лицензии Apache-2.0.

Это дообученная модель OpenAI Whisper large-v3, подготовленная yuriyvnv для распознавания речи на португальском языке. Она принимает аудио и преобразует его в текст; модель реализована как WhisperForConditionalGeneration, содержит около 905,2 млн параметров и доступна в формате safetensors для использования через Transformers. Модель обучена на португалоязычной части Common Voice 17.0 и на 21 968 синтетических аудиозаписях без фильтрации качества. На тестовой выборке Common Voice указана частота ошибок слов (WER) 8,33%, а на наборе MLS — 13,43%. Такой вариант подходит для сравнения стратегий аугментации и сценариев, где важен максимальный объём синтетических данных. Включение неотфильтрованных синтетических примеров ухудшает перенос на другой набор данных по сравнению с фильтрованным вариантом; качество также может зависеть от предметной области и регионального варианта португальского. Модель распространяется по лицензии Apache-2.0.

samolusola-personal/whisper-small-combined-lin-sna-lug-olusola — дообученная модель распознавания речи на базе openai/whisper-small. Она предназначена для преобразования аудио в текст; в названии указаны языки лингана, чичева и луганда. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors. В метаданных указаны библиотека Transformers и лицензия Apache-2.0. В README приведены результаты оценки: WER 0,3443, CER 0,1257 и loss 0,5546. Описание обучения, набор данных, сценарии использования и ограничения в карточке не раскрыты; эти метрики сами по себе не дают полной картины качества распознавания на разных аудио и языках.

avalonai/whisper-small-jv — модель распознавания речи, созданная дообучением Whisper Small для яванского языка. В карточке указано, что для обучения использовался датасет OpenSLR; метаданные также связывают модель с Common Voice 16.1. Архитектура — WhisperForConditionalGeneration, размер — 153,1 млн параметров; модель принимает аудио и выдаёт текстовую транскрипцию. Модель предназначена для автоматического распознавания яванской речи. В описанных авторами экспериментах она достигла WER 23,22%. Распространяется по лицензии MIT.

bobix/whisper-small-polish — модель распознавания речи, созданная дообучением OpenAI Whisper Small на польском языке. Она преобразует польскую речь в текст и предназначена для офлайн-транскрибирования, в том числе на пользовательских устройствах с потребительским GPU или CPU. Модель основана на архитектуре Whisper, содержит 153,1 млн параметров и распространяется в формате Safetensors; в карточке также описана конверсия файлов .bin для использования в мобильной клавиатуре. Модель выпущена под лицензией MIT. Карточка не приводит количественных оценок качества, ограничений по длительности аудио или результатов тестирования; качество распознавания может зависеть от записи и польского произношения.

vasista22/whisper-tamil-large-v2 — модель автоматического распознавания речи, созданная дообучением Whisper Large-v2 разработчиком vasista22 на тамильских данных из нескольких открытых корпусов. Она предназначена для преобразования тамильской речи в текст и оценки распознавания на соответствующих тестовых наборах. Модель использует архитектуру WhisperForConditionalGeneration и содержит около 905,2 млн параметров; доступны реализации весов PyTorch и Flax. Модель ориентирована на тамильскую речь и обучалась на корпусах IISc-MILE, ULCA, Shrutilipi, Microsoft Speech Corpus для индийских языков, Google Fleurs и Babel. Для обучения применялся спринт по дообучению Whisper; Apache-2.0 разрешает использование модели на условиях этой лицензии. Карточка не приводит длину контекста или измерения качества, поэтому нельзя оценить точность на конкретных типах записей.

eai6/whisper-tiny.en — дообученная модель распознавания речи на основе openai/whisper-tiny.en, созданная сообществом eai6 и обученная на наборе данных Azure-dataset. Модель использует архитектуру Whisper и содержит 29,4 млн параметров; она предназначена для преобразования английской речи в текст. Модель подходит для транскрибации аудиозаписей и распознавания речи в приложениях. В README приведены результаты оценки на тестовой выборке: loss 0,0680 и WER 44,3486. Весовые файлы доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

Карточка модели Visionboxx/audio-flamingo-3 на Hugging Face совпадает с карточкой nvidia/audio-flamingo-3, поэтому описание составлено по ней. Audio Flamingo 3 (AF3) — открытая большая аудиоязыковая модель, разработанная NVIDIA для понимания речи, звуков и музыки, ответов на вопросы по аудио и рассуждений. Она подходит для анализа коротких и длинных аудиозаписей, голосового диалога и интерактивных помощников для работы со звуком и музыкой. Архитектура сочетает аудиоэнкодер AF-Whisper, MLP-адаптер и декодерную языковую модель Qwen2.5-7B; в AF3-Chat также предусмотрен потоковый синтез речи. Модель принимает аудио и текст, обрабатывает аудио длительностью до 10 минут и текстовый контекст до 16 000 токенов. Основной язык в карточке — английский. На выходе модель формирует текст, а в голосовом режиме может выдавать речь. Модель поддерживает многошаговый диалог с аудио и опциональное рассуждение; её обучали на наборах данных для речи, звуков и музыки. Для запуска предусмотрены PyTorch и Hugging Face Transformers; авторы ориентируют применение на NVIDIA A100/H100. Лицензия обозначена как other, а карточка ограничивает использование некоммерческими исследовательскими целями.

Audio Flamingo 3 (AF3) — большая аудиоязыковая модель NVIDIA для понимания и анализа речи, звуков и музыки. Она принимает аудио и текстовые инструкции, отвечает на вопросы об аудиозаписях, выполняет рассуждения по их содержанию и поддерживает диалог в несколько ходов. Модель доступна через Transformers; заявлена поддержка аудио длительностью до 10 минут и текстового контекста до 16 000 токенов. Архитектура объединяет аудиоэнкодер AF-Whisper, MLP-адаптер и декодерную языковую модель Qwen2.5-7B; в варианте AF3-Chat также предусмотрен потоковый синтез речи. Модель обучалась на наборах данных для общих звуков, музыки и речи. В карточке указана поддержка английского языка. AF3 предназначена для исследований и разработок в области аудиоответов на вопросы, анализа длинных записей и голосовых диалогов. Она оптимизирована для NVIDIA GPU, а использование на CPU может быть медленнее. Лицензия обозначена как other; README ограничивает модель некоммерческими исследовательскими целями.

Это языковая часть конвейера CosyVoice3 для синтеза речи на албанском языке, созданная автором репозитория nardi на основе FunAudioLLM/Fun-CosyVoice3-0.5B-2512. Чекпойнт Qwen2 с 0,5 млрд параметров и расширенным словарём объединяет базовую модель с LoRA, дообученной для албанского синтеза речи. В README указаны 55 часов албанской новостной речи VOA и 20 711 аудиофрагментов для обучения. Модель принимает текст и предназначена для генерации албанской речи в составе CosyVoice3. Для работы ей требуется акустический стек CosyVoice3, включающий flow-matching DiT и HiFi-GAN; сам репозиторий содержит языковую часть. Контекст составляет 32 768 токенов. Указана лицензия Apache-2.0. README описывает узкую обучающую выборку из новостной речи, поэтому качество на иных жанрах, регистрах и вариантах произношения может отличаться.

GPT Audio — аудиомодель OpenAI, представленная как первая общедоступная аудиомодель компании. В описании снимка модели упомянут улучшенный декодер, который делает голоса естественнее и помогает сохранять их постоянство. Модель предназначена для работы с аудио; доступный текст карточки не уточняет конкретные сценарии, архитектуру, размер, языки и длину контекста. Метаданные каталога классифицируют её как модель автоматического распознавания речи, однако README не описывает входы и выходы подробнее. Дата создания репозитория — 19 января 2026 года. Условия лицензирования в предоставленных данных не указаны.

Moonshine Streaming Tiny — German — это модель распознавания немецкой речи от команды Moonshine AI. Она использует потоковую архитектуру: аудиофронтенд с частотой 50 Гц и скользящий оконный Transformer-энкодер позволяют выдавать транскрипцию по мере поступления аудио, с задержкой упреждения около 80 мс. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами; в репозитории доступны веса safetensors для Transformers. Метаданные указывают 13,8 млн параметров, а README — 27 млн; размер модели в источниках расходится. Модель обучена для немецкого языка на крупном корпусе подкастов с автоматически созданными псевдоразметками и меньшем наборе вручную транскрибированной читаемой речи. На FLEURS и Multilingual LibriSpeech для немецкого README приводит WER 11,98 и 10,19 соответственно при описанном правиле остановки генерации. Эти оценки относятся к читаемой речи и не показывают качество на спонтанной разговорной речи. Лицензия — MIT.

IndicWav2Vec Nepali — модель распознавания речи, созданная дообучением ai4bharat/indicwav2vec_v1_hindi для непальского языка в рамках сравнительного бенчмарка непальских ASR-моделей. Она построена на Wav2Vec 2.0 с CTC-декодированием и содержит 113,3 млн параметров по метаданным Hugging Face. Принимает аудио, подготовленное как монофоническое с частотой 16 кГц, и выдаёт текст на письме деванагари. Модель предназначена для транскрибирования непальской речи, в частности записанной и читаемой речи. На тесте OpenSLR SLR54 указаны WER 14,89% и CER 3,07%; на FLEURS (ne_np) — WER 40,68%, а на Common Voice ne-NP — 51,65%. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства в рамках некоммерческих условий. Обучение охватывало только читаемую речь. Модель не проверялась для спонтанных разговоров, смешения непальского с английским или хинди и диалектных вариантов; при декодировании внешний языковой модуль не используется. Качество на шумном аудио и пользовательских записях может быть ниже, чем на тестовых данных.

Это 8-битная MLX-квантизированная версия модели NVIDIA Parakeet TDT 0.6B v2, подготовленная Spoke для локальной диктовки. Модель предназначена для автоматического распознавания английской речи и её транскрибации в текст. Квантованы слои nn.Linear и nn.Embedding с group_size 64; свёрточные слои, BatchNorm и LSTM предсказателя TDT оставлены в bf16. В тесте LibriSpeech test-clean на 250 примерах для M4 указаны WER 1,91%, RTF 0,024 и пиковое потребление памяти MLX 1,26 ГБ. Для загрузки требуется сначала применить к дереву модулей конфигурацию квантования, затем загрузить веса; одного вызова parakeet_mlx.from_pretrained недостаточно. Лицензия — CC BY 4.0.