/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
4 681–4 710 из 4 835
vhdm
whisper-large-fa-v1

vhdm/whisper-large-fa-v1 — модель распознавания речи на архитектуре Whisper, созданная разработчиком vhdm дообучением openai/whisper-large-v3-turbo на персидских аудиозаписях из набора vhdm/persian-voice-v1.1. Модель содержит 905,2 млн параметров и предназначена для транскрибации персидской речи: голосовых заметок, подкастов, видео и интервью, а также для создания поисковых расшифровок. Она поддерживает входное аудио и выдаёт текст; для чистой персидской речи в карточке указана частота ошибок слов WER 14,07%. Модель распространяется по лицензии MIT. Обучение проводилось на чистой речи из конкретного набора данных, поэтому качество может снижаться на шумных записях, акцентах и диалектах. Модель не оптимизирована для потокового распознавания и иногда может генерировать правдоподобные, но неверные слова.

2.1K56июнь 2025
textaudiomithugging-face
por62
GigaAM-v3-e2e-rnnt-vllm

por62/GigaAM-v3-e2e-rnnt-vllm — версия GigaAM-v3, подготовленная для запуска в контейнере vLLM. Это модель распознавания речи на основе Conformer с декодером RNN-T и сквозной обработкой аудио: она преобразует русскую речь в нормализованный текст с пунктуацией. В README указано, что семейство GigaAM-v3 разработано на основе предварительного обучения на русской речи с целью HuBERT-CTC; эта версия соответствует варианту e2e_rnnt. Метаданные репозитория указывают 151,2 млн параметров и формат safetensors. Модель предназначена для транскрибации русской речи в разных акустических условиях, включая разговоры в колл-центрах, фоновую музыку и естественную речь. README сообщает об улучшении среднего качества на новых доменах и приводит результаты сравнений, однако численные показатели могут зависеть от тестового набора и условий оценки. Метаданные также отмечают английский язык, но README описывает обучение и основные сценарии для русской речи. Лицензия — MIT.

7030июль 2026ctx5K
textaudiomithugging-face
GetmanY1
wav2vec2-base-fi-150k-finetuned

Модель GetmanY1/wav2vec2-base-fi-150k-finetuned разработана Ярославом Гетманом и Тамашем Гросом и предназначена для автоматического распознавания финской речи. Это акустическая модель на архитектуре Wav2Vec2 с CTC-выходом, содержащая 113,3 млн параметров и доступная в формате safetensors. Она дообучена на 4600 часах финской речи: разговорной речи из Lahjoita puhetta и материалах парламента Финляндии. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует его в текст. Она подходит для транскрибации финской речи, включая разговорную речь и выступления в парламенте. Базовая модель предварительно обучалась на большом корпусе неразмеченной финской речи. Модель распространяется по лицензии Apache-2.0. Она рассчитана на финский язык; качество распознавания для других языков не заявлено. Для корректной работы входное аудио должно иметь частоту дискретизации 16 кГц.

530сент. 2024
textaudioapache-2.0hugging-face
boumehdi
wav2vec2-large-xlsr-moroccan-darija

Модель boumehdi/wav2vec2-large-xlsr-moroccan-darija — акустическая модель распознавания речи на базе wav2vec2-large-xlsr-53, дообученная разработчиком на размеченных аудиозаписях марокканской дариджи. В карточке указано, что обучение проводилось на 57 часах аудио из корпуса MDVC; разработчик постепенно добавлял данные, чтобы унифицировать запись дариджи. Модель предназначена для преобразования речи на марокканской даридже в текст. Она использует архитектуру Wav2Vec2ForCTC, содержит около 402,7 млн параметров и принимает аудио. Репозиторий опубликован в формате PyTorch. Точность может зависеть от вариаций произношения и принятого способа записи дариджи: разработчик отмечает, что продолжает дообучение и стандартизацию текстовых транскрипций. Лицензия — Apache-2.0.

1.9K32апр. 2023
textaudioapache-2.0hugging-face
voidful
wav2vec2-xlsr-multilingual-56

Модель voidful/wav2vec2-xlsr-multilingual-56 разработана voidful для автоматического распознавания речи. Это дообученная версия facebook/wav2vec2-large-xlsr-53, обученная на данных Common Voice для распознавания речи на 56 языках. Репозиторий содержит веса PyTorch и safetensors; для входной речи рекомендуется частота дискретизации 16 кГц. Модель подходит для транскрибирования аудиозаписей и построения систем распознавания речи на нескольких языках. В карточке приведены результаты WER и CER для части языков, но также указаны значительные риски смещений: предсказания могут воспроизводить вредные стереотипы. Лицензия — Apache-2.0.

2.3K34март 2022
textaudioapache-2.0hugging-face
vasista22
whisper-hindi-medium

Whisper Hindi Medium — модель распознавания речи, дообученная Vasista22 на основе openai/whisper-medium на данных для автоматического распознавания речи на хинди из нескольких открытых корпусов. Она предназначена для преобразования аудиозаписей на хинди в текст, в том числе для обработки речевых корпусов и оценки качества транскрипции. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров; доступны форматы PyTorch и Flax. Для работы с Flax в карточке упоминается библиотека whisper_jax. Обучение использовало GramVaani ASR Corpus, ULCA ASR Corpus, Shrutilipi ASR Corpus и обучающую и валидационную части Google Fleurs. Лицензия — Apache-2.0. Карточка не приводит количественных оценок качества, поэтому точность на конкретных типах записей по ней определить нельзя.

2523янв. 2023ctx1K
textaudioapache-2.0hugging-face
mohammadjavadnasri
whisper-large-v3-farsi-cv17

mohammadjavadnasri/whisper-large-v3-farsi-cv17 — дообученная модель распознавания речи на основе openai/whisper-large-v3, обученная на наборе Common Voice 17.0. Она принимает аудио и преобразует речь в текст; модель содержит 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration. В оценке на тестовом наборе указаны WER 23,4723 и орфографический WER 27,5624. Модель предназначена прежде всего для транскрибации речи на фарси. Это вариант мультиязычной Whisper large-v3, однако карточка сообщает о дообучении на Common Voice 17.0, а не о проверке качества для других языков. Доступна в формате safetensors для Transformers. Лицензия — Apache-2.0.

1042июнь 2025
textaudioapache-2.0hugging-face
NbAiLab
nb-wav2vec2-1b-bokmaal-v2

NbAiLab/nb-wav2vec2-1b-bokmaal-v2 — модель автоматического распознавания речи, опубликованная лабораторией искусственного интеллекта Национальной библиотеки Норвегии (NbAiLab). Она преобразует норвежскую речь на букмоле в текст и предназначена для транскрибирования аудиозаписей. Модель использует архитектуру Wav2Vec2 с классификатором CTC и содержит 1,3 млрд параметров; карточка указывает применение через Transformers и лицензию Apache-2.0. Родственная модель NbAiLab с названием без суффикса v2 дообучена на основе XLS-R и оценивалась на норвежском корпусе парламентской речи; найденные материалы не позволяют уверенно переносить эти результаты на версию v2. Распознавание оптимизировано для букмола, поэтому качество на других языках и вариантах норвежского не подтверждено.

675K0февр. 2024
textaudioapache-2.0hugging-face
Kkonjeong
wav2vec2-base-korean

Kkonjeong/wav2vec2-base-korean — модель распознавания корейской речи, разработанная Чонхёном Парком и Джеёном Кимом. Это дообученная версия facebook/wav2vec2-base с архитектурой Wav2Vec2ForCTC, содержащая 113,3 млн параметров. Модель обучена на Zeroth-Korean и преобразует аудиозаписи корейской речи в текст, используя для распознавания корейские джамо.

6.4K7май 2024
textaudiohugging-face
gchhablani
wav2vec2-large-xlsr-mr-3

gchhablani/wav2vec2-large-xlsr-mr-3 — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 для маратхи. Она принимает аудио и выдаёт текстовую транскрипцию; для входной речи требуется частота дискретизации 16 кГц. Модель основана на архитектуре Wav2Vec2 с CTC и содержит около 402,7 млн параметров. Модель обучалась на OpenSLR SLR64 и наборах маратхи из Interspeech 2021: по 1412 примеров из каждого источника. В карточке приведены результаты тестирования 14,15% на OpenSLR и 27,14% на Interspeech; отдельно указано 19,05% для оценки на 10% данных маратхи из OpenSLR. Эти показатели относятся к описанным наборам и протоколам. Набор OpenSLR содержит только женские голоса, что ограничивает репрезентативность обучения. Модель распространяется по лицензии Apache-2.0.

3560март 2022
textaudioapache-2.0hugging-face
GetmanY1
wav2vec2-xlarge-fi-150k-finetuned

GetmanY1/wav2vec2-xlarge-fi-150k-finetuned — модель автоматического распознавания финской речи, разработанная Ярославом Гетманом и Тамашем Гросом. Это дообученная на распознавании версия GetmanY1/wav2vec2-xlarge-fi-150k, основанная на архитектуре Wav2Vec2 и классе Wav2Vec2ForCTC; число параметров по метаданным — 1,3 млрд. Модель преобразует финскую речь в текст. Для её обучения использовали 4600 часов аудио с частотой дискретизации 16 кГц: разговорную речь из Lahjoita puhetta и записи заседаний финского парламента. На вход следует подавать аудио с частотой дискретизации 16 кГц. Модель предназначена для транскрибации финской речи, включая разговорную речь и парламентские выступления. Выпускается по лицензии Apache-2.0.

1711сент. 2024
textaudioapache-2.0hugging-face
aapot
wav2vec2-xlsr-300m-finnish

Модель aapot/wav2vec2-xlsr-300m-finnish разработана Aapo Tanskanen и Rasmus Toivanen как акустическая модель распознавания финской речи. Это дообученная версия facebook/wav2vec2-xls-r-300m на 275,6 часах размеченной финской речи; архитектура Wav2Vec2ForCTC содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст. Модель предназначена для транскрибации финской речи, в том числе коротких записей. В README приведена оценка на тестовой части Common Voice 7.0; для этой модели указаны WER 17,92 и CER 3,36 без языковой модели, а с KenLM-декодированием — WER 8,16 и CER 1,97. Для декодирования с языковой моделью авторы также указывают отдельную версию Finnish-NLP/wav2vec2-xlsr-300m-finnish-lm. Обучающие аудиофрагменты ограничивались длиной 20 секунд, поэтому модель, вероятно, лучше работает на коротких записях. Большая часть обучающих данных получена из заседаний финского парламента, что может ухудшать распознавание повседневной речи, диалектов, а также речи детей и женщин. Лицензия — Apache-2.0.

130март 2022
textaudioapache-2.0hugging-face
Pirnazar
whisper-large-v3-turbo-turkmen

Модель Pirnazar — версия Whisper large-v3-turbo, дообученная для распознавания туркменской речи. Это самостоятельный чекпойнт с объединённым в веса LoRA-адаптером; отдельная загрузка адаптера или базовой модели не требуется. Модель построена на архитектуре Whisper и принимает аудио, выдавая текстовую транскрипцию. Для распознавания рекомендуется задавать язык tk и режим транскрипции. При обучении использовался датасет mamed0v/TurkmenSpeech; LoRA ранга 8 обучалась на проекциях q_proj и v_proj. В карточке приведены результаты валидации на 500 примерах: WER 29,51% и CER 6,59%; это метрики обучения, а не независимая оценка тестового набора. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

2850сент. 2026
textaudiocc-by-nc-4.0hugging-face
vasista22
whisper-telugu-medium

Whisper Telugu Medium — модель распознавания речи, разработанная Vasista22 на основе Whisper Medium от OpenAI и дообученная на корпусах речи на телугу. Она преобразует аудио на телугу в текст и предназначена для транскрибации записей и оценки систем ASR. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров; доступны веса PyTorch и Flax. В обучении использованы несколько публичных корпусов, включая CSTD IIIT-H, ULCA, Shrutilipi, Microsoft Speech Corpus, Fleurs и Babel. Модель распространяется по лицензии Apache-2.0.

7313дек. 2022ctx1K
textaudioapache-2.0hugging-face
MediaTek-Research
Breeze-ASR-25

Breeze ASR 25 — это модель распознавания речи MediaTek Research, дообученная на базе Whisper-large-v2. Она предназначена для транскрибации тайваньского мандаринского китайского языка, включая традиционное письмо, а также речи с переключением между китайским и английским языками внутри фраз и между фразами. Улучшенное выравнивание временных меток подходит для автоматического создания субтитров. Модель имеет архитектуру Whisper и содержит около 905,2 млн параметров. В описании приведены результаты на коротких и длинных аудиозаписях: на нескольких тестах Breeze ASR 25 показывает более низкую частоту ошибок слов, чем сравниваемые версии Whisper и COOL-Whisper. Данные обучения включают синтетическую китайскую речь, английскую речь Common Voice и примеры переключения языков. Модель принимает аудио и выдаёт текстовую транскрипцию. Карточка указывает лицензию Apache-2.0. Оптимизация ориентирована на тайваньский мандаринский и китайско-английскую речь; качество для других языков и условий записи в карточке не охарактеризовано.

30K153июнь 2025ctx1K
textaudioapache-2.0hugging-face
IbrahimAmin
egyptian-arabic-wav2vec2-xlsr-53

IbrahimAmin/egyptian-arabic-wav2vec2-xlsr-53 — модель распознавания речи на базе wav2vec2-large-xlsr-53, дообученная Ibrahim Amin на арабских речевых данных. Она предназначена для преобразования аудио в текст, в первую очередь для египетского разговорного арабского, а также для современного литературного арабского и диалектов Персидского залива и Леванта. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; модель работает с аудио и выдаёт текст. В обучении использованы записи YouTube, MASC, Common Voice 15, MGB-3 и Arabic Speech Corpus; в карточке также приведено сравнение на тестовой выборке Common Voice 17 для арабского языка. Модель можно применять для транскрибации разговоров и вещательной речи. Распространяется по лицензии Apache-2.0. README не сообщает длину входных записей или ограничения по условиям записи; качество распознавания может различаться между диалектами и акустическими условиями.

4.5K6май 2025
textaudioapache-2.0hugging-face
kstunlp
kstu-asr

kstunlp/kstu-asr — модель автоматического распознавания кыргызской речи, созданная KSTU NLP как полное дообучение facebook/mms-1b-all. Это модель на базе Wav2Vec2 с архитектурой CTC и примерно 1 млрд параметров; она принимает аудио и выдаёт распознанный текст на кыргызском языке. Для декодирования в примере используется жадный CTC-декодер с целевым языком kir. Модель обучали на кыргызских речевых данных KSTU NLP, Common Voice 21 и FLEURS-ky, дополнив их синтетическими данными. В приведённых испытаниях она показала WER 12,93% на тестовой выборке FLEURS-ky и 16,17% на отдельной разговорной выборке; эти результаты относятся к описанным наборам и нормализации текста. Для использования указаны Transformers и аудио 16 кГц, моно. Лицензия в метаданных обозначена как other, поэтому конкретные условия распространения следует сверить с репозиторием.

141июнь 2026
textaudiootherhugging-face
linagora
linto_stt_fr_fastconformer_pc

Модель Linagora представляет собой дообученную версию NVIDIA French FastConformer Hybrid Large для автоматического распознавания французской речи. Это гибридная ASR-модель на архитектуре FastConformer/Parakeet с 115 млн параметров, обученная с функциями потерь Transducer и CTC; по умолчанию используется Transducer. Для дообучения использовано более 10 000 часов французской речи с ручной транскрипцией и пунктуацией: записи включают чтение, спонтанную речь, разговоры, встречи, разные акценты и условия записи. Модель предназначена для транскрибирования аудио во французский текст в пакетном и потоковом сценариях, в том числе через LinTO STT API. В README указана оценка на нескольких корпусах, включая отдельный тестовый набор SUMM-RE; результаты описаны как близкие к лучшим, но числовая таблица метрик в предоставленных данных отсутствует. Модель может хуже распознавать редкую лексику, сильные акценты и перекрывающуюся речь, а пунктуация может быть менее точной на длинных фрагментах. Модель распространяется по лицензии CC BY 4.0. README указывает использование с Transformers и NVIDIA NeMo; для Transformers требуется версия 5 или новее для ParakeetForRNNT. Метаданные указывают формат safetensors и французский язык.

1903июль 2025
textaudiocc-by-4.0hugging-face
DigitalUmuganda
Mbaza-ASR-Afrivoice-660h

DigitalUmuganda/Mbaza-ASR-Afrivoice-660h — модель автоматического распознавания речи, опубликованная DigitalUmuganda для работы в NVIDIA NeMo. Это акустическая модель на архитектуре Conformer с CTC, предназначенная для транскрибирования аудио и доступная как предварительно обученный чекпойнт для инференса или дообучения на другом наборе данных. Модель принимает монофонические WAV-записи с частотой дискретизации 16 кГц. По метаданным она связана с набором данных Afrivoice_Kinyarwanda и ориентирована на киньяруанда. Модель распространяется по лицензии CC BY 4.0. В карточке не приведены размер модели, длина контекста или оценка качества; пригодность для других языков и акустических условий не подтверждена.

125июль 2025
textaudiocc-by-4.0hugging-face
NbAiLab
nb-wav2vec2-1b-bokmaal

NbAiLab/Nb-wav2vec2-1b-bokmaal — модель автоматического распознавания речи, разработанная командой NbAiLab для норвежского языка букмол. Она дообучена на базе XLS-R от Facebook/Meta и использует архитектуру Wav2Vec2 с CTC-декодированием; размер модели — 1,3 млрд параметров. Для обучения использовался Norwegian Parliamentary Speech Corpus (NPSC). Модель предназначена для преобразования норвежской речи в текст. На тестовом наборе указана оценка WER 6,33% и CER 2,48% с 5-граммовой языковой моделью KenLM; без неё — WER 7,38% и CER 2,63%. Для применения с другими типами речи качество может отличаться. Модель распространяется по лицензии Apache 2.0.

14K3март 2022
textaudioapache-2.0hugging-face
Soul-AILab
SoulX-Transcriber

SoulX-Transcriber — аудиоязыковая модель, разработанная Soul AI Lab совместно с группой ASLP Северо-Западного политехнического университета. Она выполняет распознавание речи и диаризацию в многосторонних диалогах в единой сквозной системе: определяет говорящих, сегментирует аудио с временными отметками и формирует согласованную с говорящими расшифровку, в том числе при быстрых сменах реплик и наложении речи. Модель построена на архитектуре Qwen3-Omni-30B-A3B-Instruct и предназначена для расшифровки разговоров с несколькими участниками. В README описано обучение с учетом характеристик говорящих и приведены результаты на наборах AISHELL-4 и AliMeeting. Репозиторий содержит веса safetensors; модель распространяется по лицензии Apache-2.0. Модель подходит для анализа встреч, интервью и других диалоговых записей, где важно связать реплики с участниками и временными интервалами. README не приводит конкретные ограничения качества или сведения о поддерживаемых языках самой модели; описанные в нем китайские и английские данные относятся к конвейеру симуляции диалогов.

7831май 2026
textaudioapache-2.0hugging-face
BSC-LT
whisper-large-v3-ca-punctuated-3370h

whisper-large-v3-ca-punctuated-3370h — акустическая модель распознавания каталонской речи, дообученная Лабораторией языковых технологий Барселонского суперкомпьютерного центра в рамках проекта AINA. Она основана на openai/whisper-large-v3 и предназначена для преобразования каталонских аудиозаписей в текст с пунктуацией и заглавными буквами. Модель с архитектурой Whisper содержит 905,2 млн параметров и обучалась на 3369 часах и 53 минутах каталогских аудиоданных из Common Voice 17.0 и набора 3CatParla. Обучение на тщательно расшифрованных данных помогает сохранять пунктуацию и регистр в транскрипциях. Для работы доступны веса PyTorch и библиотека Transformers; модель принимает аудио и выдаёт текст. Модель рассчитана на распознавание каталонской речи и может уступать при работе с другими языками или акустическими условиями, не представленными в обучающих данных. Лицензия — Apache-2.0.

3352май 2025
textaudioapache-2.0hugging-face
asfberlin
fast-ukrainian-asr-600m

fast-ukrainian-asr-600m — украинская модель распознавания речи, созданная дообучением 600-миллионного мультиязычного SSL-энкодера GigaAM и адаптированная для телефонного аудио. Она предназначена для преобразования украинской речи в текст, в том числе в телефонных записях с частотой 8 кГц после передискретизации до 16 кГц. Модель использует CTC-архитектуру с символьной выходной головой на 38 классов; принимает монофонический звук с частотой 16 кГц и выдаёт текст. По результатам авторского сравнения модель особенно хорошо распознаёт начитанную речь, в том числе аудио в телефонном канале, но слабее справляется со спонтанной разговорной речью. Она предназначена только для украинского: русский язык не поддерживается. Вывод не содержит пунктуации и заглавных букв, а числа записываются словами. По оценке авторов, на CPU модель требует примерно в 2,4 раза больше времени, чем вариант на 220 млн параметров. Лицензия — MIT.

500сент. 2026
textaudiomithugging-face
ibm-granite
granite-speech-3.3-2b

Granite-speech-3.3-2b — компактная речевая языковая модель IBM, основанная на granite-3.3-2b-instruct и адаптированная к обработке аудио. Она предназначена прежде всего для автоматического распознавания речи (ASR) и автоматического перевода речи (AST), а также поддерживает текстовые сценарии через базовую языковую модель. Модель использует двухэтапную схему: сначала преобразует аудио в текст, затем по отдельному вызову обрабатывает этот текст языковой моделью. Модель поддерживает речевой ввод на английском, французском, немецком, испанском и португальском языках. Она ориентирована на преобразование речи в текст и перевод между этими языками и английским, а также на перевод с английского на японский и мандаринский китайский. В версии 3.3.2 улучшена точность распознавания английской речи благодаря более глубокому акустическому энкодеру и дополнительным данным обучения. Модель содержит около 2 млрд параметров; точное максимальное окно контекста в README не указано. Сильными сторонами являются компактность, мультиязычность, поддержка ASR и AST и пригодность для корпоративных приложений, работающих с речевыми данными. Ограничение двухпроходной архитектуры заключается в необходимости явно выполнять отдельный второй вызов для обработки транскрибированного текста. Лицензия — Apache 2.0.

168K55апр. 2025
textapache-2.0hugging-face
mrfakename
Qwen3-ASR-Enhanced-v0.1

Qwen3 ASR Enhanced — дообученная модель mrfakename на базе Qwen/Qwen3-ASR-1.7B для распознавания речи и транскрибации аудио с inline-разметкой невербальных вокализаций: смеха, вздохов, кашля, дыхания, прочищения горла и плача. Модель предназначена для расшифровки подкастов, интервью и встреч, создания описательных субтитров, анализа диалогов и подготовки данных для разговорных систем. Модель использует плотную архитектуру Qwen3ASRForConditionalGeneration, принимает аудио и выдаёт текстовую транскрипцию. README заявляет поддержку английского, немецкого и французского языков, устойчивость к шуму, акцентам и длинным записям. Это альфа-версия; автор отмечает нестабильность тегов невербальных звуков и планирует улучшить их, а также добавить диаризацию говорящих. Лицензия — Apache-2.0.

8015май 2026ctx131.1K
textaudioapache-2.0hugging-face
swechatelangana
swecha-gonthuka-asr

Swecha Gonthuka ASR — модель автоматического распознавания речи на телугу, разработанная Swecha Telangana на основе Wav2Vec2ForCTC и дообученная на наборе данных Swecha Gonthuka. Модель принимает аудио и преобразует речь в текст на телугу; предназначена для транскрибации, повышения доступности и поддержки сохранения языка. Она содержит 113,3 млн параметров и использует библиотеку Transformers. В карточке приведены результаты оценки на тестовых наборах только с телугу: CER составил 6,32% на FLEURS (te_in), 9,00% на OpenSLR66 и 11,92% на Common Voice 22. Оценка выполнялась после нормализации текста до письменности телугу и пробелов, поэтому результаты могут отличаться на данных с английскими словами. Качество зависит от акцента, диалекта, шума и записи; для важных или юридических расшифровок требуется проверка человеком. Лицензия — AGPL-3.0.

3748февр. 2026
textaudioagpl-3.0hugging-face
facebook
wav2vec2-xls-r-2b

Wav2Vec2-XLS-R-2B — мультиязычная предварительно обученная модель Facebook AI для получения речевых представлений на основе архитектуры wav2vec 2.0. Она содержит 2,8 млрд параметров по метаданным и обучена на 436 тысячах часов неразмеченной речи из нескольких корпусов, включая VoxPopuli, Multilingual LibriSpeech, Common Voice, BABEL и VoxLingua107. Модель рассчитана на аудио с частотой дискретизации 16 кГц и охватывает 128 языков. Модель служит основой для дообучения под распознавание речи, перевод речи и классификацию, включая определение языка и другие задачи анализа аудио. В статье XLS-R сообщается о результатах на задачах распознавания и перевода речи для языков с разным объёмом обучающих данных. Это предварительно обученный чекпойнт, а не готовая система транскрибации: для прикладной задачи требуется дообучение и соответствующая выходная голова. Модель распространяется по лицензии Apache-2.0.

2.2K46март 2022
textapache-2.0hugging-face
SungBeom
whisper-small-ko

SungBeom разработал модель распознавания речи на основе Whisper Small и дообучил её на нескольких крупных наборах данных AI Hub с корейской речью. Она преобразует аудио в текст и рассчитана на распознавание речи в разных сценариях, включая клиентские обращения, разговоры и общую корейскую речь. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате PyTorch через библиотеку Transformers. Обучение на нескольких наборах данных призвано повысить устойчивость к различиям между речевыми доменами. При этом качество ASR зависит от домена, а карточка указывает, что распознавание диалектов, детской и пожилой речи может требовать дополнительной адаптации. Лицензия — Apache-2.0.

51821июнь 2023ctx1K
textaudioapache-2.0hugging-face
KBLab
kb-whisper-small

KB-Whisper Small — модель распознавания речи, выпущенная Национальной библиотекой Швеции (KBLab) на основе OpenAI Whisper Small. Она принимает аудио и преобразует шведскую речь в текст. Модель содержит 153,1 млн параметров и обучена на более чем 50 000 часов шведской речи с текстовыми транскрипциями; для Hugging Face по умолчанию доступна версия Stage 2. Также можно выбрать варианты транскрибирования Subtitle с более сжатым текстом или Strict с более дословной расшифровкой. Модель предназначена для транскрибирования шведской речи, в том числе субтитров, выступлений и записей. В тестах на FLEURS, CommonVoice и NST модели KBLab показали более низкий WER на шведском, чем соответствующие модели OpenAI; README отмечает, что версия Small превзошла Whisper Large v3 на шведской речи. Доступны веса в форматах Hugging Face, ONNX, whisper.cpp/GGML и CTranslate2. Лицензия — Apache-2.0. Результаты оценки относятся к указанным тестам и не гарантируют такое же качество на других типах аудио; модель рассчитана прежде всего на шведский язык.

4.1K4февр. 2025
textaudioapache-2.0hugging-face
danurahul
wav2vec2-large-xlsr-pa-IN

danurahul/wav2vec2-large-xlsr-pa-IN — модель автоматического распознавания речи на панджаби, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования панджабской речи в текст. Для входного аудио требуется частота дискретизации 16 кГц; доступны веса PyTorch и Flax. В карточке указан результат тестирования 100% на тестовых данных Common Voice, однако метрика не названа, а разделение данных описано неоднозначно: README сообщает об использовании наборов train и validation для обучения, валидации и тестирования. Поэтому результат не позволяет оценить обобщающую способность модели. Лицензия — Apache-2.0.

122март 2022
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей