/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
3 061–3 090 из 4 835
akimbabananan
whisper-tiny-ru-en-only

Это компактная модель автоматического распознавания речи на базе OpenAI Whisper Tiny, дообученная автором репозитория akimbabananan для русского и английского языков. Она принимает аудио и преобразует речь в текст; автор описывает её как эксперимент с полным дообучением, направленный на специализацию модели в двуязычном режиме. В карточке указаны архитектура Whisper, библиотека Transformers, формат safetensors и лицензия MIT. По заявлению автора, обучение шло 4000 шагов на датасете Common Voice 22.0, а знания языков помимо русского и английского намеренно вытеснялись. Поэтому модель подходит для транскрибации речи на этих двух языках, но может молчать или транслитерировать речь на других языках. Заявления о высокой точности в README не подкреплены приведёнными метриками; для практического применения качество стоит проверять на целевых аудиозаписях.

231июнь 2026ctx1K
textaudiomithugging-face
OpenASR
xasr-zh-en

X-ASR-zh-en — двуязычная модель автоматического распознавания речи, разработанная GilgameshWind и упакованная проектом OpenASR для нативного выполнения в runtime OpenASR. Она предназначена для преобразования китайской и английской речи в текст, включая речь с переключением между языками, потоковые субтитры с низкой задержкой, диктовку на устройствах и офлайн-транскрибацию аудиофайлов. Модель построена по рецепту icefall/k2 как кэш-ориентированный Zipformer2 RNN-T трансдьюсер: 6-стековый 19-слойный encoder Zipformer2, stateless RNN-T decoder и tanh joiner с BPE-словарём на 5000 токенов. Размер модели составляет около 0,16 млрд параметров. Доступны варианты fp16, q8_0 и q4_k размером примерно от 112 до 315 МБ; q8_0 рекомендован как компромисс между качеством и занимаемой памятью. Модель оптимизирована для CPU и GPU, поддерживает потоковую и офлайн-обработку, а инференс выполняется без Python. К сильным сторонам относятся компактность, низкое потребление памяти, локальная обработка, поддержка китайского и английского языков и пригодность для устройств с ограниченными ресурсами. README не содержит абсолютных показателей точности, поэтому качество распознавания в различных условиях оценить нельзя; приведённое сравнение квантованных вариантов отражает только отклонение от транскрипта fp16 на одном тестовом фрагменте. Пакеты распространяются по лицензии Apache-2.0, унаследованной от исходной модели.

1.1K2июнь 2026
textaudioapache-2.0hugging-face
Awesome-x
aci-yoruba-phase7

aci-yoruba-phase7 — модель автоматического распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием, разработанная Awesome-x. Она дообучена на базе Awesome-x/aci-yoruba-phase7; в карточке указано, что название обучающего набора данных не приведено. Модель содержит 402,7 млн параметров и принимает аудио, выдавая распознанный текст. Модель предназначена для преобразования речи в текст. В оценке на тестовом наборе указаны loss 0,9616 и WER 0,3836. Подробности о применении, языковом охвате, обучающих данных и ограничениях в карточке отсутствуют. Лицензия не указана.

70сент. 2026
textaudiohugging-face
1Developer
cali-whisper-tiny.en-drop-007-production

cali-whisper-tiny.en-drop-007-production — дообученная модель семейства Whisper, разработанная 1Developer на основе 1Developer/cali-whisper-tiny.en-drop-006-production. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; в README указано обучение на датасете audiofolder. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через библиотеку Transformers. В README приведены результаты на оценочной выборке: Loss 0.0000 и WER 0.0, однако подробности методики и набора оценки не описаны. Лицензия — Apache-2.0. Суффикс tiny.en в названии указывает на англоязычную версию Whisper Tiny; явное подтверждение языкового охвата в карточке отсутствует.

350авг. 2026ctx1K
textaudioapache-2.0hugging-face
prithivMLmods
Common-Voice-Gender-Detection

Common-Voice-Gender-Detection — модель PrithivMLmods для бинарной классификации аудио по голосовым признакам с метками «female» и «male». Она дообучена на facebook/wav2vec2-base-960h и использует архитектуру Wav2Vec2ForSequenceClassification; размер модели — 113,3 млн параметров. Модель предназначена для определения метки голоса в речевых записях: например, для тегирования аудио, сортировки голосовых наборов данных и вспомогательной аналитики звонков, подкастов и интервью. В README приведён отчёт классификации на 6545 примерах с точностью 98,46%; эти результаты относятся к указанной оценке и не гарантируют такую же точность на других данных. Модель принимает аудио и выдаёт класс, поэтому подходит для классификации, а не для транскрибирования речи. Базовая модель ориентирована на английскую речь, а метаданные указывают английский язык. Лицензия — Apache-2.0.

180K35май 2025
textapache-2.0hugging-face
t8star
Confucius-R2t2-Comfy

t8star/Confucius-R2t2-Comfy — это зеркало неизменённых файлов Confucius4-R2T2 Q8 от NetEase Youdao для использования в ComfyUI. Репозиторий содержит GGUF-декодер и аудиопроектор с квантизацией Q8_0, а также ONNX-файл FireRedVAD для определения голосовой активности; зеркало не является официальным выпуском NetEase Youdao или FireRedVAD. Модель предназначена для распознавания речи и создания черновой транскрипции аудиозаписи, которую затем следует сверить вручную. README описывает интеграцию в ComfyUI и Windows Voice Studio, поддержку китайского и английского языков, а также возможность задавать ключевые слова и контекст распознавания. Перевод и генерация временных меток для субтитров не заявлены. Файлы модели распространяются по прилагаемому соглашению NetEase Youdao, а файлы VAD — по Apache 2.0; при использовании и распространении необходимо соблюдать соответствующие условия и сохранять уведомления. Для Windows-интеграции README указывает требование к NVIDIA GPU и драйверу. Модель рассчитана на распознавание речи, но транскрипции требуют проверки человеком.

1.4K0сент. 2026
textaudiootherhugging-face
BUT-FIT
diarizen-wavlm-large-s80-md-v2

BUT-FIT представляет DiariZen WavLM Large S80 MD v2 — модель для анализа речи и диаризации говорящих. Компонент EEND построен на WavLM Large и слоях Conformer; модель обучена на одноканальных дальнеполевых аудиозаписях из публичных наборов данных, включая AMI, AISHELL-4, AliMeeting, NOTSOFAR-1, MSDWild, DIHARD3, RAMC и VoxConverse. Модель поддерживает диаризацию при перекрывающейся речи до четырёх говорящих. После структурного прореживания с разреженностью 80% число параметров WavLM Large сокращено с 316,6 млн до 63,3 млн, а вычислительная стоимость — с 17,8 до 3,8 млрд MAC на секунду. Метаданные указывают задачу voice activity detection; README также описывает диаризацию говорящих. Модель предназначена для обработки дальнеполевых одноканальных записей встреч и разговоров. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. README предупреждает, что устаревший код может ухудшить результаты или вызвать проблемы при работе.

2.1K27дек. 2025
audiocc-by-nc-4.0hugging-face
dianavdavidson
indic_whisper_hi_multi_gpu_mucs_hi_63093_ratio_alldata_lr_1e-4_lgid_None_normalized_FT

Это дообученная модель Whisper, разработанная на основе parthiv11/indic_whisper_hi_multi_gpu; в карточке автор не указан. Модель предназначена для автоматического распознавания речи и транскрибирования аудио. Она содержит 455,8 млн параметров и использует архитектуру WhisperForConditionalGeneration; для работы применяется библиотека Transformers. На оценочном наборе указаны Loss 0,5923 и Global WER 45,2226. Датасет обучения и подробные сценарии использования в карточке не раскрыты. Модель распространяется по лицензии MIT.

1320сент. 2026ctx1K
textaudiomithugging-face
tsolful
LTX_2.5_INT4_W4A8_ConvRot

tsolful/LTX_2.5_INT4_W4A8_ConvRot — квантованная версия модели LTX-2.5 от Lightricks, предназначенная для генерации и преобразования видео и аудио. Модель поддерживает сценарии text-to-video, image-to-video, video-to-video, image-text-to-video, audio-to-video, text-to-audio, video-to-audio, audio-to-audio, а также совместную генерацию аудио и видео по тексту или изображениям. Она может использоваться в ComfyUI и других совместимых инструментах для создания мультимедийного контента. Модель имеет размер 15,4 ГБ и использует квантование AsymW4A8 INT4 с форматами W4A8 и ConvRot. По данным карточки, она обеспечивает около 80% качества версии INT8. Базовой моделью является Lightricks/LTX-2.5; более подробные сведения об архитектуре, длине контекста, разрешении и поддерживаемых форматах входных и выходных данных не указаны. В метаданных заявлена поддержка английского, немецкого, испанского, французского, японского, корейского, китайского, итальянского и португальского языков. К сильным сторонам относятся существенно уменьшенный размер по сравнению с более точными вариантами и сохранение значительной части качества INT8, что может упростить локальное развёртывание. Ограничения связаны с потерями качества из-за INT4-квантования, а также с отсутствием в карточке точных требований к аппаратному обеспечению и характеристик производительности. Модель распространяется по LTX-2 Community License Agreement; условия лицензии доступны по ссылке, указанной в карточке модели.

40012авг. 2026
textimagevideootherhugging-face
csikasote
mms-1b-all-bemgen-combined-train-droctc-gdro-3e-2-dat-5e-1-no-sd-0.00-42

Модель csikasote/mms-1b-all-bemgen-combined-train-droctc-gdro-3e-2-dat-5e-1-no-sd-0.00-42 — дообученная csikasote версия facebook/mms-1b-all для автоматического распознавания речи. Это плотная модель архитектуры wav2vec2 с головой CTC, содержащая 1,3 млрд параметров и принимающая аудио для преобразования речи в текст. Она дообучена на наборе BEMGEN — BEM; в карточке приведены результаты оценки: loss 12,2996 и CER 0,0527. Модель подходит для распознавания речи в аудиозаписях на языках, поддерживаемых базовой MMS-моделью; карточка не уточняет, какие именно языки и условия записи проверялись при дообучении. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

690авг. 2026
textaudiocc-by-nc-4.0hugging-face
sokho2
mms-300m-wolof

Модель sokho2/mms-300m-wolof — дообученная разработчиком sokho2 модель facebook/mms-300m для автоматического распознавания речи на волофском языке. Она использует архитектуру Wav2Vec2 с 300 млн параметров и CTC-декодирование; принимает аудио и выдаёт распознанный текст. Модель обучалась на наборах Or4kool/wolof_speech_dataset и Alwaly/wolof_asr_bg, с аугментацией скорости и громкости, и оценивалась на отложенных данных ALFFA Wolof и Google FLEURS. В карточке указаны WER 13,64% и CER 4,51%.

882июль 2026
textaudiocc-by-nc-4.0hugging-face
GJATT
mms-pa_Sep27_152songs

GJATT/mms-pa_Sep27_152songs — модель распознавания речи на основе wav2vec2, дообученная разработчиком GJATT на базе facebook/mms-1b-all. Она преобразует входящее аудио в текст; карточка приводит результаты оценки: WER 0,3271 и CER 0,0971, а также loss 0,3949. Базовая модель поддерживает более тысячи языков, но язык и область применения именно этой версии в карточке не уточнены. Модель содержит 1,3 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. README не описывает обучающий набор данных или предполагаемые сценарии использования. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

2000сент. 2026
textaudiocc-by-nc-4.0hugging-face
Sanjidh090
moonshine-base-bn

Moonshine-Base-BN — компактная модель распознавания бенгальской речи, выпущенная Sanjid Hasan и Md. Abdur Rahman вместе с работой для MuslimML Workshop при ICML 2026. Она основана на UsefulSensors/moonshine-base и адаптирована заменой токенизатора декодера на BanglaBERT WordPiece с последующим дообучением для восстановления декодирования. Модель содержит 61,5 млн параметров, принимает аудио и генерирует текст; в метаданных указан контекст 194 токена. Для обучения и оценки использован набор Lipi-Ghor-bn-882-SSTT с бенгальской речью. Модель предназначена для распознавания бенгальской речи, в том числе в многодоменных и многоголосых записях. Авторы сообщают о меньшей доле ошибок на уровне символов, чем у сравниваемых систем, и скорости примерно в 3,5 раза выше, чем у оптимизированного Whisper CTranslate2; результаты относятся к тестовому разделу указанного набора данных. Модель распространяется по лицензии MIT.

860июнь 2026ctx194
textaudiomithugging-face
onnx-community
moonshine-tiny-ONNX

onnx-community/moonshine-tiny-ONNX — модель для автоматического распознавания речи, основанная на UsefulSensors/moonshine-tiny и предназначенная для использования с библиотекой Transformers.js. Она преобразует аудиозаписи в текст и подходит для сценариев транскрибации речи в JavaScript-приложениях, включая обработку удалённых аудиофайлов. Модель доступна в формате ONNX и интегрируется через pipeline с задачей automatic-speech-recognition. В README не указаны архитектура, точный размер, поддерживаемые языки, максимальная длина контекста и набор модальностей, поэтому эти характеристики нельзя достоверно оценить. В качестве сильных сторон можно отметить совместимость с Transformers.js и пример готового применения; ограничения по качеству, языкам и производительности в предоставленных данных не описаны. Модель распространяется по лицензии MIT.

13K12дек. 2024ctx512
textaudiomithugging-face
naver
multilingual-distilwhisper-28k

Multilingual DistilWhisper — компактная модель распознавания речи от NAVER, созданная на основе Whisper-small с лёгкими CLSR-модулями для повышения качества ASR на целевых языках. Обучение сочетает функцию потерь для распознавания речи и дистилляцию знаний от Whisper-large-v2. Модель предназначена для преобразования аудиозаписей в текст на каталанском, тамильском и тайском языках. Веса объёмом 153,1 млн параметров доступны в форматах PyTorch и Safetensors; лицензия — MIT. Модель опубликована в ноябре 2023 года и описана в работе для ICASSP 2024.

3015нояб. 2023
textaudiomithugging-face
mlx-community
nemotron-3.5-asr-streaming-0.6b

Это преобразованная сообществом mlx-community версия NVIDIA Nemotron 3.5 ASR Streaming — модели распознавания речи с архитектурой FastConformer-RNNT и примерно 600 млн параметров. Веса представлены в формате bfloat16; библиотека запуска — mlx-audio. Модель преобразует аудио в текст и рассчитана на потоковую транскрипцию. Она использует подсказку с идентификатором языка, поддерживает 40 языковых локалей, а распознанный текст оформляет с пунктуацией и заглавными буквами. Параметр размера контекста позволяет выбирать компромисс между задержкой и использованием будущего аудиоконтекста; конфигурация [56,13] рекомендована в README для наилучшей точности в офлайн-режиме. README указывает на оригинальную модель NVIDIA и её карточку как источник сведений об архитектуре и назначении. Репозиторий содержит конверсию весов в MLX, а не отдельное дообучение. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверять с карточкой оригинальной модели и репозитория.

1.4K17июнь 2026
textaudiootherhugging-face
cstr
nemotron-3.5-asr-streaming-0.6b-GGUF

Nemotron-3.5-ASR-Streaming-0.6B GGUF — это конвертированная в формат GGUF версия модели NVIDIA Nemotron-3.5-ASR-Streaming-0.6B, подготовленная для использования с CrispASR. Модель предназначена для автоматического распознавания речи, включая потоковую транскрипцию аудио в реальном времени, и поддерживает 39 языков и языковых вариантов, среди которых английский, русский, немецкий, французский, испанский, китайский, японский, корейский, украинский и другие. Архитура включает потоковый Cache-Aware FastConformer-энкодер из 24 слоёв с размерностью 1024 и 8 головами внимания, а также RNN-T-декодер на основе двухслойного LSTM со скрытым размером 640. Обработка выполняется для аудио с частотой дискретизации 16 кГц; используются 128 мел-фильтробанков и причинное уменьшение временной размерности в 8 раз, что соответствует примерно 80 мс на выходной кадр. Выбор языка выполняется через механизм conditioning с использованием prompt kernel. Доступны варианты F16, Q8_0 и Q4_K; версия Q4_K имеет наименьший размер и заявлена как примерно вдвое более быстрая по сравнению с F16. К сильным сторонам модели относятся потоковая работа с учётом кэша, мультиязычность, сравнительно компактный размер и возможность запуска через CrispASR в GGUF-формате. Ограничения включают специализацию исключительно на автоматическом распознавании речи и зависимость от совместимого программного обеспечения CrispASR или другого поддерживаемого рантайма; в README не приведены количественные показатели качества и требования к аппаратным ресурсам. Модель распространяется по лицензии OpenMDW-1.1, описанной как разрешительная.

8134июнь 2026
textaudioopenmdw-1.1hugging-face
giangndm
parakeet-ctc-0.6b-vietnamese-bf16

giangndm выпустил совместимое с Transformers представление модели NVIDIA Parakeet CTC 0.6B Vietnamese в формате BF16. Это модель распознавания речи с архитектурой ParakeetForCTC на основе FastConformer; она принимает аудио и преобразует его в текст на вьетнамском языке. В репозитории также находятся процессор и токенизатор, а для загрузки весов используется файл safetensors без необходимости выполнять удалённый код. Модель предназначена для транскрибирования вьетнамской речи. Её можно применять для получения текста из аудиозаписей и обработки речевых сигналов через Transformers. Представление BF16 является конверсией исходного чекпойнта и не заявляет об изменении качества распознавания. Применяются лицензия и ограничения использования исходной модели NVIDIA; в метаданных лицензия обозначена как other.

2530авг. 2026
textaudiootherhugging-face
argmaxinc
parakeetkit-litert-pro

ParakeetKit Pro — модель для автоматического распознавания речи из семейства Parakeet, подготовленная для использования через Argmax Pro SDK. Репозиторий содержит модель в формате TensorFlow Lite; метаданные указывают библиотеку WhisperKit и поддержку аудиовхода. Модель предназначена для локальной транскрибации речи на устройстве. Карточка сообщает, что эти модели совместимы только с Argmax Pro SDK. Лицензия обозначена как other, поэтому условия использования следует сверять с лицензией в репозитории и условиями SDK.

6.0K0нояб. 2025
textaudiootherhugging-face
handy-computer
parakeet-unified-en-0.6b-gguf

Parakeet-unified-en-0.6b-gguf — это GGUF-порт модели nvidia/parakeet-unified-en-0.6b, подготовленный проектом handy-computer для работы с transcribe.cpp. Модель предназначена для автоматического распознавания английской речи и преобразования её в текст с пунктуацией и капитализацией. Она поддерживает офлайн-распознавание и буферизованный потоковый режим, включая сценарии голосовых ассистентов, субтитров в реальном времени и conversational AI. Архитектура включает 0,6 млрд параметров, encoder FastConformer и RNN-T transducer decoder. Это унифицированная модель для офлайн- и streaming-инференса с настраиваемой задержкой от 160 мс; поддерживаются токеновые временные метки. Модель обучалась преимущественно на англоязычной части датасета Granary объёмом около 250 000 часов речи en-US в различных акустических условиях. Поддерживается только английский язык; перевод и автоматическое определение языка отсутствуют. Сильными сторонами являются высокая точность распознавания, единая архитектура для потоковой и офлайн-обработки, встроенные пунктуация и капитализация, а также несколько вариантов квантования размером примерно от 477 МБ до 2,47 ГБ. Ограничения включают англоязычную специализацию, отсутствие перевода и необходимость использования transcribe.cpp; текущий streaming-инференс является буферизованным. Лицензия — CC-BY-4.0, унаследованная от базовой модели.

1.9M14май 2026
textaudiocc-by-4.0hugging-face
handy-computer
Qwen3-ASR-0.6B-gguf

Qwen3-ASR-0.6B-gguf — это квантизированные GGUF-сборки модели Qwen3-ASR-0.6B, подготовленные проектом handy-computer для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и автоматической транскрипции аудио в текст с автоматическим определением языка. Она принимает монофонические WAV-файлы с частотой 16 кГц; потоковая обработка, перевод речи и временные метки не поддерживаются, явная подсказка языка также недоступна. Архитектура включает двунаправленный аудиоэнкодер из 18 слоёв и 28-слойную каузальную языковую модель Qwen3 с внедрением аудиотокенов в объединённую аудио-текстовую последовательность без cross-attention. Указана поддержка 30 языков в сборке transcribe.cpp, включая китайский, английский, кантонский, русский, немецкий, французский, испанский, японский, корейский, арабский и другие. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 590 МБ до 1,58 ГБ. На LibriSpeech test-clean показатель WER составляет 2,11–2,26% в зависимости от квантизации; для ряда языков приведены дополнительные оценки на FLEURS. Сильные стороны модели — офлайн-работа, мультиязычность, автоматическое определение языка и несколько вариантов квантизации для выбора между качеством и потреблением памяти. Ограничения включают отсутствие streaming, перевода и временных меток, требование к формату входного аудио и заметно различающееся качество между языками. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели Qwen/Qwen3-ASR-0.6B.

153K4апр. 2026
textaudioapache-2.0hugging-face
Arm
qwen3-tts-0-6b-custom-voice-mix-precision

Arm/qwen3-tts-0-6b-custom-voice-mix-precision — это оптимизированный вариант мультиязычной модели синтеза речи Qwen3-TTS-12Hz-0.6B-CustomVoice, разработанной командой Qwen компании Alibaba Cloud. Пакет подготовлен для развертывания на Arm CPU и унаследовал лицензию Apache-2.0 от исходной модели и проекта. Модель преобразует текст UTF-8 в потоковое аудио с частотой 24 кГц, используя выбранного предустановленного диктора; автоматический выбор языка также поддерживается. Пакет содержит артефакты в форматах GGUF, ONNX и LiteRT/TFLite и использует смешанные фреймворки: токенизацию Hugging Face, ONNX Runtime для эмбеддингов и llama.cpp/GGUF либо LiteRT/TFLite для основных компонентов синтеза. Talker, предсказатель кодов и трансформер декодера речи квантизированы в Q8_0, а постобработка декодера использует вычисления FP16. Поддерживаются китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Число активных групп предсказания кодов можно настраивать; пакетные значения по умолчанию используют 16 групп. К сильным сторонам относятся уменьшение размера примерно в 1,64 раза по сравнению с FP32-реализацией, отсутствие выявленного ухудшения разборчивости по WER, потоковый вывод и ускорение на заявленных устройствах. На одном ядре Arm CPU с SME2 коэффициент реального времени составляет 0,376 на MacBook Pro с M4 Pro и 0,836 на смартфоне Vivo X300, то есть синтез выполняется быстрее реального времени в обоих тестах. Ограничения включают зависимость производительности от конкретного оборудования и рантайма, использование только предустановленных голосов, отсутствие заявленных сведений о произвольном клонировании голоса и неопределенный контекстный размер. Движок инференса для данного пакета предоставляется через программу Compute Flow Early Access, доступ к которой предлагается запрашивать у Arm.

3.6K6авг. 2026
textaudioapache-2.0hugging-face
ctaguchi
ssc-bxk-model

ctaguchi/ssc-bxk-model — модель автоматического распознавания речи, разработанная дообучением facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст; в карточке не уточняются поддерживаемые языки и формат входного аудио. На оценочном наборе указаны значения Loss 1,4388, CER 0,2469 и WER 0,8253. Датасет, сценарии применения и дополнительные ограничения в карточке не описаны. Модель распространяется под лицензией Apache-2.0.

1490нояб. 2025
textaudioapache-2.0hugging-face
mlx-community
Voxtral-Mini-4B-Realtime-6bit

mlx-community/Voxtral-Mini-4B-Realtime-6bit — конвертированная в формат MLX версия Voxtral-Mini-4B-Realtime-2602 от Mistral AI. Это мультиязычная модель для распознавания и потоковой транскрипции речи, предназначенная для обработки аудио с низкой задержкой. Репозиторий использует safetensors и библиотеку MLX; в названии указана 6-битная точность. Базовая модель связана с этой версией как дообученная. Модель распространяется по лицензии Apache-2.0.

2626февр. 2026
textaudioapache-2.0hugging-face
UmarRamzan
w2v2-bert-urdu

UmarRamzan/w2v2-bert-urdu — модель автоматического распознавания речи на базе Wav2Vec-BERT 2.0, дообученная на урду-разделе набора Common Voice 17. Она преобразует аудиозаписи речи на урду в текст и подходит для транскрибирования речевых данных. Модель содержит 402,7 млн параметров и использует архитектуру Wav2Vec2BertForCTC. На оценочной выборке указана WER 0,2929 и loss 0,3681. Модель распространяется под лицензией MIT; заявленные результаты относятся к указанному оценочному набору и не гарантируют такую же точность на других аудиозаписях.

290май 2024
textaudiomithugging-face
facebook
wav2vec2-conformer-rel-pos-large-960h-ft

facebook/wav2vec2-conformer-rel-pos-large-960h-ft — акустическая модель распознавания речи, разработанная Facebook AI (ныне Meta) на основе архитектуры Wav2Vec2-Conformer с относительными позиционными эмбеддингами. Модель предобучена и дообучена на 960 часах англоязычной речи из LibriSpeech. Она предназначена для преобразования речи в текст и может использоваться для транскрибирования аудиозаписей. На вход подаётся речь с частотой дискретизации 16 кГц; архитектура модели — Wav2Vec2ConformerForCTC, размер — 402,7 млн параметров. Модель поддерживает английский язык. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Качество на речи, отличающейся от LibriSpeech, а также обработка других языков в карточке не описаны.

8.6K7апр. 2022
textaudioapache-2.0hugging-face
thinkKenya
wav2vec2-large-xls-r-300m-sw

Модель распознавания речи на суахили разработана инициативой THiNK и дообучена на корпусе Common Voice 11.0. Это модель Wav2Vec2ForCTC на базе wav2vec 2.0 с декодированием CTC и unigram-токенизатором; в метаданных указано 402,7 млн параметров. Она принимает аудио и преобразует речь в текст, в том числе для сервисов транскрибации, голосовых помощников и средств доступности. При обучении использован Common Voice 11.0 на суахили; в README указано, что учитывались демографические характеристики записей, включая возраст, пол и акцент. Модель распространяется в форматах PyTorch и Safetensors по лицензии Apache 2.0. Результаты могут зависеть от акцента, качества записи и соответствия речи обучающим данным; численные оценки качества в карточке не приведены.

4920июль 2023
textaudioapache-2.0hugging-face
MehdiHosseiniMoghadam
wav2vec2-large-xlsr-53-Czech

Модель MehdiHosseiniMoghadam/wav2vec2-large-xlsr-53-Czech — версия wav2vec 2.0, дообученная на чешском языке на данных Common Voice. Она преобразует аудиозаписи речи в текст и подходит для автоматической транскрибации чешской речи. Для входного аудио требуется частота дискретизации 16 кГц. Модель содержит около 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. В карточке приведён результат 27,05 % на тестовых данных Common Voice, но метрика и способ её расчёта не уточнены. Модель распространяется по лицензии Apache-2.0.

1781март 2022
textaudioapache-2.0hugging-face
addy88
wav2vec2-malayalam-stt

addy88/wav2vec2-malayalam-stt — модель автоматического распознавания речи на основе архитектуры Wav2Vec2 с 113,3 млн параметров. Она принимает аудио и преобразует речь на малаялам в текст; модель можно использовать напрямую, без языковой модели. Модель опубликована в формате PyTorch и предназначена для сценариев распознавания речи на малаялам. В карточке не указаны сведения о лицензии, поэтому условия использования по имеющимся данным определить нельзя.

1840март 2022
textaudiohugging-face
dnikolic
wav2vec2-xlsr-530-serbian-colab

Модель dnikolic/wav2vec2-xlsr-530-serbian-colab — дообученная версия facebook/wav2vec2-xls-r-300m на неизвестном наборе данных для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров; репозиторий включает веса PyTorch. Модель предназначена для преобразования сербской речи в текст. Лицензия — Apache-2.0. Карточка не приводит сведений о составе обучающих данных, качестве распознавания и ограничениях применения, поэтому эти характеристики оценить нельзя.

1760июль 2022
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей