I.9Аудио и музыка

Lakoc/DeCRED_small_cv_2 — дообученная модель распознавания речи на базе архитектуры JointCTCAttentionEncoderDecoder. Модель обучена на Common Voice 13.0 и предназначена для преобразования речи в текст. В карточке приведены результаты оценки: CER 0,0663 и WER 0,1563. Репозиторий содержит веса в формате safetensors. Описание сценариев применения, языков, условий лицензии и ограничений в карточке отсутствует, поэтому их нельзя уточнить. Модель опубликована 15 июня 2024 года.

patrickvonplaten/hubert-xlarge-ls960-ft-4-gram — модель распознавания английской речи, созданная на основе Facebook hubert-xlarge-ls960-ft и дополненная 4-граммной языковой моделью. Для языковой модели используются официальные n-граммы LibriSpeech. Архитектура — HuBERT-XLarge с CTC-выходом; число параметров по метаданным — 1,3 млрд. Модель принимает аудио и выдаёт распознанный текст, подходит для транскрибации речи и оценки на наборах LibriSpeech clean и other. В README приведены результаты WER 1,71 для clean и 3,06 для other. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.

hviske-v5.3 — модель распознавания датской речи, разработанная Syvai и дообученная на базе syvai/hviske-v5.1 на обучающих выборках CoRal v3. Это модель класса Conformer encoder-decoder с 2 млрд параметров, предназначенная для транскрибации чтения вслух и разговорной речи на датском языке. Она принимает аудио и выдаёт текст; длинные записи автоматически разбиваются на фрагменты, а входное аудио пересэмплируется до 16 кГц. На полных тестовых выборках CoRal v3 автор сообщает средний WER 13,91% при beam search с шириной 5 и строгой нормализацией; на разговорной речи ошибки заметно выше, чем на чтении вслух. На одной RTX 3090 указана скорость около 425× относительно реального времени. Beam search снижает WER примерно на 0,4 процентного пункта, но увеличивает время инференса примерно на 75%. Для загрузки через Transformers требуется trust_remote_code, поскольку репозиторий содержит пользовательский код. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; метаданные подтверждают поддержку хинди. В README приведены результаты на наборе оценки: loss 0,3763 и Global WER 29,2620, но описание модели и сведения о данных обучения отсутствуют. Модель использует архитектуру WhisperForConditionalGeneration и формат safetensors. Репозиторий распространяется по лицензии MIT.

Модель reazon-research/japanese-hubert-base-k2-rs35kh-bpe разработана Reazon Research: это HuBERT Base, дообученная с помощью фреймворка k2 на крупном японском корпусе распознавания речи ReazonSpeech v2.0. Модель содержит 115,6 млн параметров и предназначена для преобразования японской речи в текст; для работы доступна через библиотеку Transformers. В тестах авторов модель показала CER 11,07% в среднем на трёх наборах данных: JSUT-BASIC5000, Common Voice и TEDxJP-10K. Для длинной речи на JSUT-BOOK CER составил 84,55%, что указывает на существенное ограничение в таком сценарии. Модель принимает аудио и выдаёт текст. Распространяется по лицензии Apache-2.0.

nineninesix разработал мультиязычную модель распознавания речи на основе OpenAI Whisper Medium и дообучил её для поддержки кыргызского языка. Модель принимает аудио и преобразует речь в текст; заявлена поддержка кыргызского, английского и русского языков. Она содержит около 455,8 млн параметров, использует архитектуру Whisper и доступна в формате Safetensors для Transformers. Для кыргызской транскрипции требуется пользовательский токенизатор из репозитория модели. Модель предназначена для расшифровки кыргызских медиа, образовательных материалов и звонков, в том числе в сценариях переключения между языками. В README описано обучение примерно на 2 000 часах кыргызского аудио и смеси английских и русских данных; на FLEURS сообщается о практических значениях WER около 0,2–0,4 для кыргызского. Это заявленные результаты карточки, а не независимая оценка. Лицензия — Apache-2.0. Качество распознавания английского и русского может быть ниже, чем у исходной Whisper Medium; на чистых тестовых данных возможен повышенный WER из-за обучения на шумном аудио. Для других языков пригодность не заявлена, а для специализированных предметных областей может потребоваться дообучение.

BuzzASR/lithuanian — монолингвальная модель автоматического распознавания речи на литовском языке, разработанная как часть набора BuzzASR и дообученная на базе openai/whisper-large-v3. Это плотная модель Whisper с архитектурой WhisperForConditionalGeneration, содержащая 905,2 млн параметров; для работы используется Transformers, веса опубликованы в формате safetensors. Модель преобразует литовскую речь в текст, а языковая и задачная подсказки уже заданы в конфигурации генерации. Модель обучена на данных FLEURS и Common Voice Corpus 25.0; также использовались текстовые данные корпуса Goldfish. На тестах FLEURS и Common Voice показаны CER 4,81% и 0,78% соответственно, а на объединённом наборе — CER 2,11% и WER 8,75%. Разработчики сообщают, что среди сравниваемых открытых систем модель показала наименьший CER на объединённом тестовом наборе. Модель предназначена для транскрибации литовской речи. Она монолингвальна, а качество за пределами тестовых наборов FLEURS и Common Voice, включая другие предметные области и диалекты, может отличаться. Лицензия — MIT.

Malaysian Finetune Whisper Base — модель автоматического распознавания речи на базе Whisper Base, дообученная разработчиками Mesolitica на малайзийских аудиоданных. В обучении использовались наборы IMDA STT и Malay Conversational Speech Corpus, синтетические метки для малайзийских видео и аудиокниг Nusantara, а также закрытый Haqkiem TTS Dataset. Модель предназначена для транскрибации стандартной и местной разновидностей малайского языка, а также стандартного английского и малайско-английской разговорной речи Manglish. В репозитории указано 51,7 млн параметров; архитектура — WhisperForConditionalGeneration. Для обработки аудио длиннее 30 секунд README рекомендует разбивать его на фрагменты до 30 секунд и распознавать отдельно. Карточка показывает формат весов Safetensors. Лицензия в предоставленных данных не указана.

csikasote/mms-1b-all-nyagen-combined-ft-62 — дообученная csikasote модель распознавания речи на основе facebook/mms-1b-all. Она построена на архитектуре wav2vec2 и использует CTC-декодирование; число параметров — 1,3 млрд. Модель дообучена на датасете NYAGEN - NYA. На оценочной выборке указаны Loss 0,3598 и WER 0,2645. Модель предназначена для преобразования аудиоречи в текст. Базовая модель поддерживает более тысячи языков, однако язык и сценарии, охваченные этим дообучением, в карточке не уточнены. Файлы модели представлены в формате safetensors, для работы используется Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

Nemotron Czech 0.6B v1 — независимая адаптация twobe3 модели NVIDIA Nemotron 3.5 ASR Streaming 0.6B для распознавания чешской речи. Это полный чекпойнт NeMo с токенизатором, предназначенный для локальной транскрипции и потокового распознавания; он не является чекпойнтом для Transformers. В репозитории также приведена конверсия GGUF Q8_0 для запуска в NeMo-Speech.cpp. Модель дообучена на 30 039 проверенных аудиотекстовых парах Common Voice Czech 27.0. В исторической оценке на тестовом наборе Common Voice сообщается нормализованный WER 9,18% против 16,22% у исходной модели при одинаковых настройках потокового распознавания и размере аудиофрагмента 320 мс. Эти результаты не гарантируют точность на других записях: оценка не была новым слепым тестом, а качество на звонках, шумной речи, спонтанных разговорах и других языках отдельно не проверялось. Указанные 320 мс — размер аудиофрагмента, а не измеренная сквозная задержка. Модель принимает аудио и выдаёт текстовую транскрипцию. Для GGUF Q8_0 не следует предполагать те же показатели WER, что и для исходного чекпойнта NeMo. Веса и материалы выпуска распространяются по лицензии OpenMDW-1.1.

Это неофициальная конверсия англоязычной модели NVIDIA Parakeet-TDT 0.6B v2 в формат Hugging Face Transformers. Веса идентичны исходной модели nvidia/parakeet-tdt-0.6b-v2; изменена только упаковка. Архитектура — ParakeetForTDT на основе FastConformer с декодированием Token-and-Duration Transducer (TDT), размер — 0,6 млрд параметров. Модель предназначена для автоматического распознавания английской речи и её транскрибации в текст. Для загрузки карточка указывает Transformers версии 5.8.dev или новее и классы AutoModelForTDT и AutoProcessor. Репозиторий распространяется по лицензии CC BY 4.0. Это конверсия для совместимости с Transformers; она не добавляет новых возможностей по сравнению с исходной моделью.

Moondream Parakeet Ultra — дообученная версия модели Parakeet TDT 0.6B v3 от NVIDIA для автоматического распознавания речи. Она сохраняет исходную архитектуру Parakeet TDT, токенизатор и 0,6 млрд параметров в полной точности и предназначена для транскрибирования речи, в том числе длинных записей, фоновых разговоров и аудио с шумом. Модель поддерживает 25 языков, включая русский, английский и немецкий. Для длинных записей встроенная в веса голова определения речевой активности помогает разбивать аудио на сегменты длительностью до 30 секунд без отдельной VAD-модели. В приведённых тестах Parakeet Ultra показала более низкий WER, чем Parakeet TDT 0.6B v3, а также более высокую скорость в тестах на Photon с GPU NVIDIA; результаты зависят от среды и настроек запуска. Для запуска автор рекомендует Photon. Модель опубликована под лицензией CC-BY-4.0. Она предназначена для распознавания речи и не выполняет перевод или генерацию речи.

BuzzASR Persian — одноязычная модель автоматического распознавания персидской речи, разработанная как часть набора BuzzASR. Это полноценно дообученная версия Whisper large-v3 с заменой токенизатора на персидский и дополнительным текстовым многозадачным обучением. Модель содержит около 907,3 млн параметров и предназначена для преобразования персидской речи в текст. Модель оценивается на наборах FLEURS и Common Voice 25.0; в карточке сообщается о снижении CER относительно Whisper large-v3 без дообучения. Она подходит для транскрибации персидской речи, однако качество на других доменах, диалектах и условиях записи может отличаться. Модель одноязычная и рассчитана на персидский язык. Модель распространяется по лицензии MIT. Указанные результаты относятся к тестовым разделам FLEURS и Common Voice и не гарантируют аналогичное качество на произвольных аудиозаписях.

PhoWhisper-small — модель автоматического распознавания речи на вьетнамском языке, разработанная Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Это версия семейства PhoWhisper, созданная дообучением многоязычной Whisper на 844-часовом наборе аудиозаписей с разными вьетнамскими акцентами; модель содержит 153,1 млн параметров и использует архитектуру WhisperForConditionalGeneration. Модель предназначена для преобразования вьетнамской речи в текст. Карточка сообщает о высоких результатах на тестовых наборах для распознавания вьетнамской речи. Репозиторий содержит веса PyTorch и ONNX, совместимые с Transformers.js, что позволяет использовать модель в приложениях на базе этой библиотеки. Лицензия — WTFPL.

OpenVoiceOS/stt_en_quartznet15x5_onnx — англоязычная модель автоматического распознавания речи, подготовленная OpenVoiceOS как ONNX-экспорт исходной модели NVIDIA stt_en_quartznet15x5, обученной с использованием NVIDIA NeMo. Модель предназначена для преобразования английской речи в текст, включая офлайн-распознавание аудиофайлов и интеграцию в голосовые системы OpenVoiceOS. Исходный вариант использует архитектуру QuartzNet15x5 с символьным CTC-декодированием. Модель содержит ONNX-граф в формате FP32 с энкодером и CTC-головой, словарь токенов и конфигурацию для onnx-asr. Используются 64 мел-фильтра, коэффициент прореживания 2 и входные 16 кГц PCM WAV-файлы. Для запуска требуется ONNX Runtime; PyTorch и NeMo не нужны. Экспорт проверен сравнением с исходной NeMo-моделью: на эталонном фрагменте получены идентичные транскрипции. Основные ограничения — отсутствие готового варианта int8 и необходимость поддержки препроцессора nemo64 в используемом runtime; для этого могут потребоваться форк onnx-asr или runtime backfill OpenVoiceOS. Данные о точности, обучающих корпусах и известных ограничениях перенесены в карточку исходной модели и здесь не приведены. Лицензия — CC BY 4.0.

NVIDIA FastConformer-Hybrid Large для французского языка — модель распознавания речи, разработанная NVIDIA и обученная с помощью NeMo. Она преобразует монофоническое аудио WAV с частотой 16 кГц в текст с заглавными и строчными буквами, пробелами, точками, запятыми и вопросительными знаками. Модель построена на архитектуре FastConformer с уменьшением частоты кадров в 8 раз с помощью глубинных свёрток. Это большая версия примерно на 115 млн параметров; обучение использует совместные функции потерь Transducer и CTC. Модель можно применять для вывода или дообучать на собственных данных. Она обучалась на суммарно 1800 часах французской речи из MCV12, MLS и VoxPopuli. Модель подходит для транскрибации французской речи в аудиозаписях и пакетной обработки файлов. Качество может снижаться на технической лексике, незнакомой разговорной речи и речи с акцентом; модель выводит только точки, запятые и вопросительные знаки. Лицензия — CC BY 4.0.

Модель oyqiz/uzbek_stt — система распознавания речи на основе wav2vec 2.0 XLS-R, разработанная Фозилжоном Тулкиновым, Шахбозом Зохидовым, Абдурахимом Джабборовым, Яхёхоном Рахимовым и Махмудом Джуманазаровым. Она дообучена на узбекской части Mozilla Common Voice 10.0 и предназначена для преобразования узбекской речи в текст. Модель содержит 402,7 млн параметров. В README указаны результаты обучения: WER 0,2102 и CER 0,1963. Для распознавания используются аудиоданные; результатом является текст. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.

Harveenchadha/vakyansh-wav2vec2-telugu-tem-100 — модель автоматического распознавания речи на телугу, опубликованная Harveen Singh Chadha в рамках проекта Vakyansh. Проект разработан как набор инструментов и моделей для ASR на индийских языках с ограниченными ресурсами; данная модель предназначена для преобразования телугуязычной речи в текст. Модель построена на архитектуре Wav2Vec2ForCTC и использует библиотеку Transformers с PyTorch. Размер модели составляет около 113,3 млн параметров. Она принимает аудио и возвращает транскрипцию на телугу; модель ориентирована на пакетное или потоковое распознавание речи, но качество может снижаться при шуме, музыке, необычной лексике, отличающихся от обучающих данных доменах и речи с сильным акцентом. Длина контекста и условия лицензирования в доступных источниках не установлены.

Модель pragyaranjan/w2v-bert-2.0-mongolian-colab-CV16.0 — дообученная на Common Voice 16.0 модель распознавания речи на основе facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2-BERT и предназначена для преобразования монгольской речи в текст. Модель содержит около 402,7 млн параметров и доступна в формате Safetensors для библиотеки Transformers. На оценочном наборе указаны Loss 1,0032 и WER 0,3466. Эти результаты характеризуют только приведённую оценку и не гарантируют аналогичного качества на других данных. Модель распространяется по лицензии MIT.

facebook/wav2vec2-conformer-rope-large-960h-ft — акустическая модель распознавания речи, разработанная авторами Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Sravya Popuri, Dmytro Okhonko, Juan Pino и опубликованная в репозитории Facebook. Это архитектура Wav2Vec2-Conformer с rotary position embeddings и примерно 402,7 млн параметров; модель дообучена на 960 часах английской речи из LibriSpeech. Она принимает аудио с частотой дискретизации 16 кГц и предназначена для преобразования речи в текст. Модель подходит для транскрибирования английской речи и оценки качества распознавания на данных, близких к LibriSpeech. В карточке указаны форматы PyTorch и Safetensors, лицензия Apache 2.0. Языковая поддержка по данным карточки — английский; требования к частоте дискретизации входного аудио следует соблюдать.

Это модель распознавания речи на основе архитектуры Wav2Vec2, разработанная автором репозитория ravirajoshi путём дообучения facebook/wav2vec2-xls-r-300m. Она преобразует аудио на хинди в текст и подходит для автоматической транскрипции речи. Модель содержит 402,7 млн параметров и распространяется в формате PyTorch. В карточке приведены результаты на тестовой выборке: WER 0,3200 и loss 0,7049. Модель выпущена под лицензией Apache-2.0. Название датасета в README указано как None, поэтому сведения о данных обучения ограничены.

Модель infinitejoy/wav2vec2-large-xls-r-300m-indonesian — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на индонезийском языке. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель обучена на индонезийской части набора Mozilla Common Voice 7.0. Модель принимает аудио и преобразует речь в текст; её можно применять для расшифровки индонезийских записей и речевых данных. В README приведены результаты оценки: WER 0,3256 и loss 0,2759. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

DrishtiSharma/wav2vec2-large-xls-r-300m-sr-v4 — модель распознавания речи, дообученная на базе facebook/wav2vec2-xls-r-300m на сербской части набора Mozilla Common Voice 8.0. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров; формат весов — PyTorch. Модель предназначена для преобразования сербской речи в текст. В карточке приведены результаты оценки на тестовой выборке Common Voice 8.0: WER 0,3038 и loss 0,5570; также описана оценка на валидационной выборке speech-recognition-community-v2/dev_data с обработкой аудио фрагментами. Модель распространяется по лицензии Apache-2.0. Приведённый показатель WER относится к конкретной тестовой выборке и сам по себе не гарантирует аналогичного качества на других записях, акцентах или акустических условиях.

rifkat/wav2vec2-large-xls-r-300m-uz — модель распознавания узбекской речи, разработанная в рамках проекта GptUZ. Она предназначена для преобразования аудиозаписей на узбекском языке в текст. Архитектура — Wav2Vec2ForCTC семейства wav2vec2; модель содержит около 402,7 млн параметров и распространяется в формате PyTorch. По карточке модели, обучение проводилось на открытых и закрытых данных. Модель выпущена под лицензией Apache-2.0. Длина контекста и подробности о составе обучающих данных в предоставленных источниках не описаны.

CAiRE/Wav2Vec2-Large-XLSR-53-Cantonese — модель распознавания речи, дообученная CAiRE на основе facebook/wav2vec2-large-xlsr-53 на кантонском языке с использованием Common Voice Corpus 8.0. Модель построена на архитектуре Wav2Vec2ForCTC, содержит 406,6 млн параметров и принимает аудиозаписи с частотой дискретизации 16 кГц, преобразуя речь в текст без языковой модели. Модель предназначена для автоматической транскрибации кантонской речи; в README приведён результат CER 18,55% на тестовой части Common Voice для zh-HK. Доступна в формате PyTorch по лицензии Apache-2.0. В карточке не указаны сведения о длине контекста.

Модель ydshieh/wav2vec2-large-xlsr-53-chinese-zh-cn-gpt — дообученная на китайской речи версия facebook/wav2vec2-large-xlsr-53. Она распознаёт речь на китайском языке с выводом упрощёнными иероглифами; при обучении использованы наборы Common Voice zh-CN и zh-TW, причём тексты zh-TW преобразованы в упрощённое письмо. Модель основана на архитектуре Wav2Vec2 с CTC-декодером и содержит 424,3 млн параметров. Модель предназначена для автоматической транскрибации китайской речи. Для входного аудио требуется частота дискретизации 16 кГц; распознавание возможно без отдельной языковой модели. На тестовой выборке Common Voice zh-CN указана ошибка CER 20,90%. Веса доступны в формате PyTorch по лицензии Apache-2.0.

Ivydata разработала эту модель распознавания японской речи, дообучив facebook/wav2vec2-large-xlsr-53 на данных Common Voice, JVS и JSUT. Это акустическая модель Wav2Vec2 с архитектурой Wav2Vec2ForCTC и 405,7 млн параметров, предназначенная для преобразования японской речи в текст. Для распознавания входную речь следует подавать с частотой дискретизации 16 кГц. Модель можно использовать для расшифровки японской речи без языковой модели, например, в записях выступлений и других аудиоматериалах. В тесте на TEDxJP-10K автор сообщает CER 27,87%; приведённые примеры показывают, что распознавание может содержать ошибки. Модель распространяется по лицензии Apache-2.0.

Модель voidful/wav2vec2-large-xlsr-53-tw-gpt — дообученная на традиционном китайском варианте для Тайваня (zh-TW) версия facebook/wav2vec2-large-xlsr-53. Она распознаёт речь и предназначена для транскрибирования аудио; README приводит результаты оценки на тестовой части Common Voice: CER 28,70 без языковой модели и 18,36 с GPT и поиском по лучу. Архитектура — Wav2Vec2 CTC, размер — 424,3 млн параметров. Входную речь следует подавать с частотой дискретизации 16 кГц. Модель подходит для создания расшифровок записей на zh-TW, в том числе материалов, похожих на записи Common Voice. Карточка указывает лицензию Apache-2.0. Приведённые оценки относятся к тестовым данным Common Voice; качество на других источниках речи может отличаться.

Модель arijitx/wav2vec2-large-xlsr-bengali разработана на основе facebook/wav2vec2-large-xlsr-53 и дообучена для распознавания речи на бенгальском языке. Она принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; для вывода используется архитектура Wav2Vec2ForCTC. Размер модели — около 402,8 млн параметров. Модель предназначена для автоматической транскрибации бенгальской речи. При проверке на отложенной выборке примерно из 4200 высказываний автор получил WER 32,45%; результат показывает качество именно на этой выборке и не гарантирует такую же точность на других данных. Для использования указана лицензия CC BY-SA 4.0.

Wav2Vec2-Large-XLSR-Indonesian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на индонезийской части Common Voice. Это плотная архитектура Wav2Vec2 с CTC-выходом и примерно 402,7 млн параметров; модель принимает аудио и преобразует речь в текст. Для распознавания без языковой модели входную речь следует подавать с частотой дискретизации 16 кГц. В тесте на данных Common Voice указана оценка 25,55%; метрика в карточке не уточнена. Модель распространяется по лицензии Apache-2.0.