/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
2 821–2 850 из 4 835
handy-computer
granite-speech-4.1-2b-plus-gguf

Granite Speech 4.1-2B-Plus GGUF — это квантизированная версия мультимодальной модели IBM Granite Speech 4.1-2B-Plus, подготовленная сообществом handy-computer для работы в transcribe.cpp. Модель предназначена для офлайн-распознавания речи и преобразования аудио в текст с поддержкой английского, французского, немецкого, испанского и португальского языков. Она принимает монофонический WAV с частотой 16 кГц и поддерживает выдачу временных меток для каждого слова или разметку текста по говорящим. Архитектура включает Conformer-энкодер, проектор BLIP-2 Q-Former и авторегрессионный декодер Granite-4.0-1B. В варианте Plus используются объединённые скрытые состояния промежуточного и финального слоёв энкодера, а эмбеддинги токенов связаны с выходной головкой языка. Доступны варианты GGUF от BF16 и F16 до Q4_K_M размером примерно от 1,49 до 4,23 ГБ. На тесте LibriSpeech test-clean заявленный WER составляет 1,46–1,56% в зависимости от квантизации; для языков FLEURS WER в варианте Q8_0 составляет 4,46% для английского, 8,06% для немецкого, 6,53% для испанского, 8,82% для французского и 10,61% для португальского. Сильные стороны модели — локальная работа без облачных сервисов, многоязычное распознавание, словесные временные метки и диаризация. Ограничения: потоковая обработка и автоматическое определение языка не поддерживаются, перевод речи отсутствует, а режимы временных меток и диаризации нельзя использовать одновременно. Для работы требуется transcribe.cpp и аудио в формате 16 кГц mono WAV. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

13K0май 2026
textaudioapache-2.0hugging-face
Vkt
model-960hfacebook-2022.06.08

Модель Vkt/model-960hfacebook-2022.06.08 — версия Wav2Vec2, дообученная на наборе Common Voice на базе facebook/wav2vec2-large-960h-lv60-self. Она предназначена для автоматического распознавания речи: принимает аудио и преобразует его в текст. В карточке приведены результаты на оценочном наборе: loss 0,2907 и WER 0,1804. Модель содержит 402,7 млн параметров и распространяется в формате PyTorch. Лицензия — Apache-2.0. Карточка не уточняет языки распознавания и практические ограничения модели.

150июнь 2022
textaudioapache-2.0hugging-face
moonshine-ai
moonshine-base

Moonshine Base — компактная модель автоматического распознавания речи, разработанная Useful Sensors. Это последовательностная модель типа encoder-decoder с 61 млн параметров, предназначенная для транскрибирования английской речи в английский текст. Она рассчитана на разработчиков, которым нужно развернуть распознавание речи в реальном времени на устройствах с ограниченными памятью и вычислительными ресурсами; поддержка Transformers упрощает использование в соответствующих приложениях. Модель принимает аудио и выдаёт текст, обучена на 200 000 часах аудио с расшифровками и лицензирована по MIT. По оценке разработчиков, Moonshine показывает более высокую точность на стандартных наборах данных, чем сопоставимые по размеру системы распознавания речи. Модель может ошибочно добавлять слова, которых нет в аудио, и повторять фрагменты текста; эти проблемы могут быть заметнее на коротких записях и аудио с обрезанными словами. Она предназначена для транскрибирования английской речи, а не для вывода субъективных характеристик говорящего или принятия высокорисковых решений. Перед применением в конкретной области требуется отдельная оценка качества.

24K48нояб. 2024ctx194
textaudiomithugging-face
OpenMOSS-Team
MOSS-Audio-4B-Thinking

Карточка модели OpenMOSS-Team/MOSS-Audio-4B-Thinking на Hugging Face совпадает с карточкой OpenMOSS-Team/MOSS-Audio-4B-Instruct, поэтому описание составлено по ней. MOSS-Audio-4B-Instruct — открытая модель для понимания аудио, разработанная MOSI.AI, командой OpenMOSS и Shanghai Innovation Institute. Это вариант Instruct с аудиоэнкодером MOSS-Audio-Encoder и языковой основой Qwen3-4B; общий размер составляет около 4,6 млрд параметров. Аудио преобразуется в временные представления с частотой 12,5 Гц, которые объединяются с представлениями языковой модели для генерации текста. Модель принимает аудио и выполняет инструкции на его основе. Модель предназначена для распознавания речи с временными метками, ответов на вопросы и составления резюме по аудио, анализа говорящих, эмоций и звуковых событий, описания окружающей обстановки и понимания музыки. Архитектура с передачей признаков между слоями энкодера и временными маркерами поддерживает анализ акустических деталей и последовательности событий. В карточке семейства заявлена поддержка английского и китайского языков; результаты оценки относятся к семейству моделей и не гарантируют такое же качество именно для варианта 4B. Модель распространяется по лицензии Apache-2.0. Карточка описывает возможности семейства, но не приводит отдельные результаты оценки, требования к ресурсам или конкретные ограничения варианта 4B-Instruct.

55438апр. 2026ctx131.1K
textaudioapache-2.0hugging-face
OpenASR
moss-transcribe-diarize

OpenASR/moss-transcribe-diarize — модель MOSS-Transcribe-Diarize, разработанная командой OpenMOSS-Team и адаптированная OpenASR для локального запуска. Она объединяет автоматическое распознавание речи и диаризацию говорящих в одном проходе: формирует расшифровку, определяет говорящих и указывает временные интервалы их реплик. Модель предназначена для обработки аудиозаписей встреч, интервью, разговоров и других многоголосых сценариев, где важно понимать, кто и когда говорил. Модель содержит около 0,9 млрд параметров. Её архитектура сочетает аудиоэнкодер масштаба Whisper Medium, адаптер на базе MLP и LayerNorm и декодер масштаба Qwen3-0.6B. Основной фокус — китайский и английский языки; также заявлена поддержка ещё более 15 языков. Контекстное окно в README не указано. Для OpenASR доступны варианты fp16, q8_0 и q4_k в формате .oasr, позволяющие выбирать между качеством, размером и требованиями к памяти. Заявлены показатели 2,52% CER для китайского и 2,23% WER для английского на фиксированных оценочных наборах OpenASR. К сильным сторонам относятся совместная транскрипция и диаризация без отдельного конвейера, локальная работа на CPU и GPU без Python во время инференса и несколько уровней квантования. Ограничения включают отсутствие подробных данных о качестве на других языках и неуказанный контекст; приведённые метрики не следует автоматически распространять на любые аудиозаписи. Распространение выполняется по лицензии Apache-2.0, унаследованной от исходной модели; OpenASR выполняет конвертацию формата, квантование и адаптацию для локального инференса.

5.8K1июль 2026
textaudioapache-2.0hugging-face
mudler
parakeet-cpp-gguf

mudler/parakeet-cpp-gguf — набор моделей автоматического распознавания речи в формате GGUF для C++/ggml-библиотеки parakeet.cpp. Репозиторий поддерживает конвертированные модели NVIDIA NeMo Parakeet и предназначен для локального запуска ASR на CPU, включая сценарии офлайн-распознавания и потоковой транскрипции. Указано, что результаты на CPU сопоставимы с исходными моделями PyTorch. В набор входят варианты размером от 110M до 1.1B параметров с архитектурой FastConformer и головами CTC, RNNT, TDT либо гибридом TDT+CTC. Для realtime_eou_120m-v1 заявлена потоковая cache-aware RNNT-архитектура с поддержкой EOU/EOB. Доступны варианты F16, Q8_0, Q6_K, Q5_K и Q4_K; F16 рекомендован как обеспечивающий точность F32 при меньшем размере и обычно наиболее высокую скорость на современных CPU. Размер файлов зависит от модели и квантизации: примерно от 129 МБ до 2,4 ГБ. Языки, максимальная длина контекста и точный набор поддерживаемых аудиоформатов в README не указаны. Сильными сторонами являются широкий выбор архитектур и уровней квантизации, возможность запуска через C++/ggml и наличие моделей для потокового распознавания. Для ряда F16, Q8_0 и Q4_K указано нулевое различие WER по сравнению с NeMo в приведённом сравнении, однако для других вариантов измерения не проводились. Лицензия набора — CC BY 4.0.

30K71май 2026
textaudiootherhugging-face
moondream
parakeet-redux

Moondream Parakeet Redux — компактная модель автоматического распознавания речи, созданная на основе Parakeet-TDT-0.6B-v3 от NVIDIA. Она сохраняет исходную архитектуру и токенизатор, но веса энкодера представлены значениями −1, 0 и +1 (1,58 бита); размер весов — 178 МБ. Для запуска README рекомендует Photon, который использует AVX-512 VNNI на x86, NEON на ARM и Metal на Apple-устройствах. Модель предназначена для преобразования речи в текст, включая многоязычные записи и длинные аудио. Встроенная голова определения речевой активности помогает Photon разделять длинные записи на фрагменты до 30 секунд. В опубликованных сравнениях Redux близка к исходной модели на английском, показывает лучшие результаты на FLEURS и длинных выступлениях, но сильнее теряет точность при фоновом шуме. Заявленные скорости зависят от оборудования и среды Photon. В карточке указана лицензия CC-BY-4.0. Модель поддерживает 25 языков, включая русский; метаданные перечисляют языковые коды для 23 из них.

17K286сент. 2026
textaudiocc-by-4.0hugging-face
spokedotso
parakeet-tdt-0.6b-v2-mlx-6bit

Это 6-битная MLX-квантизованная версия англоязычной модели распознавания речи NVIDIA Parakeet TDT 0.6B v2, подготовленная Spoke для локальной диктовки. Модель преобразует аудио в текст и предназначена для транскрибации речи; в тесте LibriSpeech test-clean на 250 примерах на M4 указана WER 1,87%, такая же, как у версии bf16. Квантизация затрагивает слои nn.Linear и nn.Embedding с размером группы 64; Conv1d, BatchNorm и LSTM предсказателя TDT остаются в bf16. В README также указаны скорость обработки 0,022 RTF и пиковое потребление памяти MLX 1,13 ГБ. Для загрузки нужно сначала квантизовать дерево модулей, поэтому стандартный вызов parakeet_mlx.from_pretrained сам по себе не загрузит этот чекпойнт. Лицензия — CC BY 4.0.

110июль 2026
textaudiocc-by-4.0hugging-face
mlx-community
parakeet-tdt-0.6b-v3

Это версия модели NVIDIA Parakeet-TDT-0.6B-v3, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple. Модель основана на архитектуре FastConformer с Transducer-подходом и предназначена для автоматического распознавания речи и преобразования аудиозаписей в текст. Размер модели — около 0,6 млрд параметров; репозиторий содержит веса Safetensors и распространяется по лицензии CC BY 4.0. Модель поддерживает распознавание речи на нескольких европейских языках, включая английский, испанский, французский, немецкий, русский и другие. Её можно применять для транскрибации аудиозаписей и диктовки; для запуска доступны библиотеки parakeet-mlx и mlx-audio. Это конвертированная версия исходной модели NVIDIA, поэтому её характеристики распознавания определяются базовой моделью, а совместимость и производительность зависят от MLX и оборудования Apple.

2.4M67авг. 2025
textaudiocc-by-4.0hugging-face
nvidia
parakeet-tdt-1.1b

Parakeet TDT 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует английскую речь в текст, записанный строчными буквами, и рассчитана на транскрибирование отдельных аудиозаписей и пакетную обработку файлов. Модель построена на архитектуре FastConformer-TDT и содержит около 1,1 млрд параметров. Она принимает монофоническое аудио WAV с частотой 16 кГц и выдаёт текстовую строку. Предсказание длительности токенов в TDT позволяет пропускать часть пустых кадров и ускорять инференс. Модель обучали на 64 тысячах часов английской речи из частных и открытых наборов данных. В опубликованных результатах приведены показатели WER для нескольких тестовых наборов; например, 1,39% на LibriSpeech test-clean при жадном декодировании без внешней языковой модели. Модель доступна через NVIDIA NeMo для инференса и дообучения. Лицензия — CC BY 4.0.

2.2K141янв. 2024
textaudiocc-by-4.0hugging-face
nectec
Pathumma-whisper-th-medium

Pathumma-whisper-th-medium — модель распознавания речи команды Pathumma Audio Team, дообученная на основе openai/whisper-medium. Она предназначена для преобразования аудиозаписей в текст и запускается через библиотеку Transformers. Модель содержит 455,8 млн параметров и распространяется в формате safetensors. В метаданных указаны тайский и английский языки; отдельные сценарии применения и результаты оценки в карточке не описаны. Лицензия — Apache-2.0.

622янв. 2025ctx1K
textaudioapache-2.0hugging-face
handy-computer
Qwen3-ASR-1.7B-gguf

handy-computer/Qwen3-ASR-1.7B-gguf — это набор GGUF-конвертаций модели Qwen3-ASR-1.7B, разработанный handy-computer на основе базовой модели Qwen/Qwen3-ASR-1.7B для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и преобразования аудио в текст с автоматическим определением языка. Она принимает монофонический WAV с частотой 16 кГц; потоковая обработка, перевод речи и временные метки не поддерживаются, а явная подсказка языка пока недоступна. Архитектура сочетает двунаправленный аудиоэнкодер с причинной языковой моделью Qwen3 и внедрением аудиотокенов. В версии 1.7B аудиоэнкодер имеет d_model=1024 и 16 голов внимания, а языковая модель — hidden_size=2048 и intermediate_size=6144. Заявлена поддержка 30 языков в данной конвертации, включая русский, английский, китайский, японский, корейский, немецкий, французский, испанский и другие. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 1,32 до 4,09 ГБ. Сильные стороны модели — офлайн-работа, мультиязычность и высокая точность: для LibriSpeech test-clean указанный WER составляет 1,62% у BF16, F16 и Q8_0, 1,65% у Q6_K и Q5_K_M и 1,81% у Q4_K_M. Квантованные варианты позволяют снизить требования к памяти при небольшом ухудшении результата. Ограничения включают отсутствие streaming, перевода и временных меток, необходимость предварительного приведения аудио к формату 16 кГц mono WAV, а также различия качества между языками. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

208K4апр. 2026
textaudioapache-2.0hugging-face
nrshoudi
speech_ocean_wav2vec_mdd

Модель nrshoudi/speech_ocean_wav2vec_mdd разработана на основе facebook/wav2vec2-large-xlsr-53 и дообучена для автоматического распознавания речи. Это аудиомодель архитектуры Wav2Vec2 с примерно 402,8 млн параметров; она принимает аудио и выдаёт текстовую транскрипцию. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. В карточке приведены результаты оценки: WER 0,0863, CER 0,0692 и loss 0,3663. Данные обучения и языки распознавания не описаны, поэтому применимость к конкретным языкам и условиям записи по карточке установить нельзя.

990апр. 2024
textaudioapache-2.0hugging-face
ctaguchi
ssc-top-mms-model-mix-adapt-max

ssc-top-mms-model-mix-adapt-max — дообученная модель распознавания речи на основе facebook/mms-1b-all. Она использует архитектуру wav2vec2 с CTC-декодированием и принимает аудио, преобразуя речь в текст. В карточке приведены результаты оценки: loss 0,7289, CER 0,1445 и WER 0,5792; набор данных и условия оценки не описаны. Базовая MMS поддерживает более тысячи языков, однако языки и сценарии, на которых проверялась эта дообученная версия, не уточнены. Модель содержит 1,3 млрд параметров, работает через Transformers и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1060дек. 2025
textaudiocc-by-nc-4.0hugging-face
bengaliAI
tugstugi_bengaliai-asr_whisper-medium

bengaliAI/tugstugi_bengaliai-asr_whisper-medium — модель распознавания речи, опубликованная Bengali.AI. Она предназначена для преобразования аудиозаписей в текст и доступна для запуска через Transformers как задача automatic-speech-recognition. Модель построена на архитектуре WhisperForConditionalGeneration семейства Whisper и содержит около 455,8 млн параметров. В репозитории указана лицензия Apache-2.0. Карточка модели практически не содержит описания обучения и результатов, поэтому нельзя подтвердить её качество на конкретных вариантах бенгальского языка или других языках. Конфигурация ограничивает декодирование 448 токенами; модель принимает аудио и выдаёт текст.

1.6K2июнь 2024
textaudioapache-2.0hugging-face
laion
voiceclap-commercial

VoiceCLAP-Commercial (small) — модель LAION для сопоставления речи и текстовых описаний по контрастивным эмбеддингам, предназначенная для поиска эмоций и манеры речи. Она дообучена на базе laion/voiceclap-small и обучена только на данных, допускающих коммерческое использование; указана лицензия CC BY 4.0. Модель использует двухбашенную архитектуру CLAP: аудиокодировщик BUD-E-Whisper-Small обрабатывает звук с частотой 16 кГц, а текстовый кодировщик all-MiniLM-L6-v2 — описания. Обе башни формируют нормализованные совместные эмбеддинги размерности 768. Дополнительный компонент с 39 обучаемыми прототипами эмоций усиливает представление эмоциональных признаков. Поддерживаемые языки: английский, немецкий, французский, испанский и китайский. Модель подходит для извлечения признаков и поиска аудиофрагментов по текстовым описаниям эмоций или стиля речи. В сравнительных экспериментах она показала лучшие результаты, чем вариант, обученный также на данных с ограничением на некоммерческое использование, по четырём из пяти метрик; результаты экспериментов следует считать сравнительными, а не максимальными. Карточка не приводит отдельных ограничений качества за пределами этих результатов.

1.1K0июнь 2026ctx512
textembeddingcc-by-4.0hugging-face
ylacombe
w2v-bert-2.0-600m-turkish-colab

Это модель автоматического распознавания речи на турецком языке, созданная дообучением ylacombe/w2v-bert-2.0 на наборе данных Common Voice 16.0. Она использует архитектуру Wav2Vec2-BERT с CTC-выходом и принимает аудио, преобразуя его в текст. В оценке на тестовой выборке указаны loss 0,1441 и WER 0,1373. Модель подходит для транскрибирования турецкой речи, например записей и аудиофрагментов. Размер — около 402,7 млн параметров; веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

150янв. 2024
textaudiohugging-face
GodwillN
w2vbert-waxal

GodwillN/w2vbert-waxal — дообученная модель распознавания речи на архитектуре Wav2Vec2-BERT, основанная на facebook/w2v-bert-2.0. Она принимает аудио и преобразует речь в текст; число параметров — около 402,7 млн. Модель распространяется в формате Safetensors по лицензии MIT. В README приведены результаты оценки: WER 0,4034, CER 0,2183 и loss 0,8908. Датасет обучения, поддерживаемые языки и предполагаемые сценарии использования не описаны, поэтому качество распознавания для конкретного языка или типа аудио по этим данным определить нельзя.

80июль 2026
textaudiomithugging-face
emon1521
wav2vec2-base

emon1521/wav2vec2-base — дообученная модель распознавания речи на архитектуре Wav2Vec2 с примерно 113,3 млн параметров. Она принимает аудио и предназначена для преобразования речи в текст. В карточке указана оценка WER 1,0 на тестовом наборе; обучающий датасет обозначен как None, поэтому оценить качество на конкретных языках и типах речи по этим сведениям нельзя. Модель опубликована в формате PyTorch под лицензией Apache-2.0. Карточка не приводит подробностей об используемых языках, условиях обучения или рекомендуемых сценариях применения.

200апр. 2022
textaudioapache-2.0hugging-face
chrisvinsen
wav2vec2-final-1-lm-1

wav2vec2-final-1-lm-1 — модель распознавания речи на базе Wav2Vec2, дообученная автором репозитория chrisvinsen на основе facebook/wav2vec2-base. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров; предназначена для преобразования аудиоречи в текст. В README приведены значения WER 0,283 и WER 0,129 с 2-грамотной языковой моделью, а также результаты оценки: loss 0,6305 и WER 0,4499. Модель подходит для транскрибации аудиозаписей и распознавания речи в приложениях. Данные не позволяют установить обучающий датасет и поддерживаемый язык, поэтому область применения по языку не уточняется. Распространяется по лицензии Apache-2.0.

200июнь 2022
textaudioapache-2.0hugging-face
nijatzeynalov
wav2vec2-large-mms-1b-azerbaijani-common_voice15.0

Это модель автоматического распознавания речи на азербайджанском языке, созданная дообучением многоязычной wav2vec2-модели facebook/mms-1b-all на наборе Common Voice 15.0. Архитектура — Wav2Vec2ForCTC; модель содержит около 1,3 млрд параметров и принимает аудио, преобразуя речь в текст. Модель предназначена для транскрибации азербайджанской речи, в том числе записей, похожих на аудио из Common Voice. На оценочной выборке указаны loss 0,3188 и WER 0,2632; результаты на других типах записей могут отличаться. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не для коммерческих целей.

186K5нояб. 2023
textaudiocc-by-nc-4.0hugging-face
jonatasgrosman
wav2vec2-large-xlsr-53-dutch

jonatasgrosman/wav2vec2-large-xlsr-53-dutch — модель распознавания нидерландской речи, разработанная Jonatas Grosman. Это дообученная на нидерландском языке версия facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1 и CSS10. Модель использует архитектуру wav2vec2 с CTC-декодером и содержит 402,7 млн параметров. Модель преобразует входящую речь в текст и подходит для транскрибации записей на нидерландском языке. Для подачи аудио требуется частота дискретизации 16 кГц. В карточке приведены оценки на тестовой выборке Common Voice 6.0 и наборе speech-recognition-community-v2/dev_data. Модель распространяется по лицензии Apache-2.0. Карточка не описывает языковую модель для декодирования; пример использования предусматривает распознавание без неё.

1.9M24март 2022
textaudioapache-2.0hugging-face
cstr
wav2vec2-large-xlsr-53-english-GGUF

cstr/wav2vec2-large-xlsr-53-english-GGUF — это модель автоматического распознавания английской речи, преобразованная из jonatasgrosman/wav2vec2-large-xlsr-53-english в формат GGUF. В основе лежит архитектура Wav2Vec2 с CNN-экстрактором признаков и 24 Transformer-слоями; модель предварительно обучалась на 53 языках в рамках XLSR-53, а затем дообучалась на англоязычных данных Common Voice с CTC-головой. Разработчик исходной модели — jonatasgrosman, конверсия в GGUF выполнена для использования с CrispASR. Модель предназначена для транскрибирования английской речи из монофонических аудиозаписей с частотой дискретизации 16 кГц и выдаёт посимвольные транскрипции. Она содержит 1024-мерное скрытое представление, 16 attention-голов и CTC-словарь из 33 токенов. Веса представлены в формате GGUF с точностью F16, размер файла составляет около 627 МБ, что упрощает применение в совместимых локальных инструментах, включая CrispASR. Сильными сторонами являются специализация на английской речи и поддержка эффективного формата GGUF; ограничения включают работу только с английским языком и необходимость подавать аудио в требуемом формате. Модель распространяется по лицензии Apache-2.0.

2.6K0апр. 2026
textaudioapache-2.0hugging-face
lgris
wav2vec2-large-xlsr-open-brazilian-portuguese-v2

Wav2vec 2.0 With Open Brazilian Portuguese Datasets v2 — модель распознавания речи на базе Wav2Vec2, дообученная автором lgris для бразильского варианта португальского языка. Чекпойнт содержит 402,7 млн параметров и предназначен для преобразования аудиозаписей речи в текст. Для обучения объединили корпуса CETUC, Multilingual Librispeech, VoxForge, Common Voice 6.1 и Lapsbm; исходная модель дообучалась с помощью fairseq, а веса для этой версии конвертированы из исходного формата. В README приведены результаты WER 10,69% на тестовой выборке Common Voice и 34,53% на аудио TEDx вне обучающего домена. Автор отмечает возможное пересечение дикторов между обучающей и тестовой выборками Common Voice, поэтому первый результат может быть завышен; на записи вне домена качество заметно ниже. Модель распространяется по лицензии Apache-2.0.

39121март 2022
textaudioapache-2.0hugging-face
arampacha
wav2vec2-large-xlsr-ukrainian

arampacha/wav2vec2-large-xlsr-ukrainian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на украинском языке. Она основана на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров; доступны веса PyTorch и Flax. Для обучения использовались Common Voice и часть корпуса M-AILABS Ukrainian Corpus. Модель преобразует украинскую речь в текст и рассчитана на оценку и распознавание аудиозаписей. Входное аудио должно иметь частоту дискретизации 16 кГц; распознавание возможно без отдельной языковой модели. В карточке приведён результат оценки 29,89 на украинской тестовой выборке Common Voice, но метрика не уточнена. Модель распространяется по лицензии Apache-2.0.

1201март 2022
textaudioapache-2.0hugging-face
jonatasgrosman
wav2vec2-xls-r-1b-english

jonatasgrosman/wav2vec2-xls-r-1b-english — модель распознавания английской речи, дообученная автором карточки с помощью HuggingSound на базе facebook/wav2vec2-xls-r-1b. Она преобразует аудиозапись в текст и подходит для транскрибирования речи, в том числе записей из наборов Common Voice, Multilingual LibriSpeech, TED-LIUMv3 и VoxPopuli. Архитектура — Wav2Vec2ForCTC семейства wav2vec2; число параметров — 1,3 млрд. Для входного аудио требуется частота дискретизации 16 кГц. Модель принимает аудио и выдаёт текст, поддерживаемый язык — английский. Распространяется в формате PyTorch по лицензии Apache-2.0.

7489март 2022
textaudioapache-2.0hugging-face
ntsema
wav2vec2-xlsr-53-espeak-cv-ft-xas2-ntsema-colab

Это модель автоматического распознавания речи на архитектуре wav2vec2 с 402,7 млн параметров, разработанная как дообученная версия facebook/wav2vec2-xlsr-53-espeak-cv-ft. Она принимает аудио и преобразует речь в текст. Модель опубликована в формате PyTorch и предназначена для сценариев распознавания речи. Модель дообучена на датасете audiofolder. README не содержит подробностей о составе данных, поддерживаемых языках, оценке качества или рекомендуемых условиях применения. Лицензия — Apache 2.0.

7060нояб. 2022
textaudioapache-2.0hugging-face
dhasmana
WAXAL-orm_asr-w2v-bert-2.0

WAXAL-orm_asr-w2v-bert-2.0 — модель автоматического распознавания речи, созданная дообучением facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2-BERT с CTC-выходом и содержит 402,7 млн параметров. Модель принимает аудио и предназначена для преобразования речи в текст; README сообщает оценку CER 0,1687 и loss 0,8218 на тестовом наборе. Модель опубликована в формате safetensors и рассчитана на использование с библиотекой Transformers. В карточке указана лицензия MIT. Язык распознавания, набор данных и подробные ограничения в доступных материалах не раскрыты.

120июль 2026
textaudiomithugging-face
hannatoenbreker
whisper-dutch

Whisper Dutch - RTL — модель распознавания речи на нидерландском языке, созданная дообучением openai/whisper-small на наборе Common Voice 11.0. Она принимает аудио и преобразует речь в текст; архитектура основана на Whisper и содержит 153,1 млн параметров. На оценочной выборке указаны Loss 0,1895 и WER 24,9245. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

125май 2023ctx1K
textaudioapache-2.0hugging-face
zuazo
whisper-large-v2-es

zuazo/whisper-large-v2-es — дообученная модель распознавания речи на базе openai/whisper-large-v2, опубликованная пользователем zuazo. Она адаптирована для транскрибации испанской речи на наборе mozilla-foundation/common_voice_13_0. Архитектура — WhisperForConditionalGeneration; модель содержит 905,2 млн параметров и принимает аудио, выдавая текст. В оценке на тестовом наборе указаны WER 4,8949 и loss 0,2544. Модель подходит для преобразования записанной испанской речи в текст. Карточка не описывает дополнительные сценарии или ограничения качества. Лицензия Apache-2.0 разрешает использование, изменение и распространение с указанием авторов.

471дек. 2023ctx1K
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей