/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
1 531–1 560 из 4 835
Lguyogiro
wav2vec2-large-mms-1b-nhi-adapterft-ilv_fold1

Модель Lguyogiro/wav2vec2-large-mms-1b-nhi-adapterft-ilv_fold1 — дообученная на наборе audiofolder модель распознавания речи, основанная на facebook/mms-1b-all. Она использует архитектуру Wav2Vec2ForCTC и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; базовая модель поддерживает более тысячи языков, но карточка этой версии не уточняет целевой язык. На указанном наборе оценки модель показала loss 0,6054, WER 0,3871 и CER 0,1165. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

90окт. 2024
textaudiocc-by-nc-4.0hugging-face
ifrz
wav2vec2-large-xlsr-galician

ifrz/wav2vec2-large-xlsr-galician — модель автоматического распознавания речи на галисийском языке, созданная путём дообучения facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Обучение проводилось на размеченных аудиоданных OpenSLR 77 и Mozilla Common Voice 8.0; для оценки указана метрика WER 7,12. Модель принимает монофоническую речь с частотой дискретизации 16 кГц и преобразует её в текст. Подходит для транскрибирования галисийской речи и распознавания аудио на галисийском языке. Распространяется по лицензии Apache-2.0.

193K2апр. 2022
textaudiohugging-face
litert-community
whisper-base

Whisper Base LiteRT — это экспорт модели openai/whisper-base в формате LiteRT TFLite, разработанный OpenAI. Модель предназначена для автоматического распознавания речи и преобразования аудиосигнала в текст; её можно использовать в приложениях и на устройствах, поддерживающих выполнение LiteRT-моделей. В репозитории представлена модель whisper_base_30s_f32.tflite с вычислениями в формате FP32 и раздельными сигнатурами encode и decode. Энкодер принимает входной тензор float32 размерности [1,80,3000] и возвращает представление размерности [1,1500,512]. Декодер принимает это представление, последовательность токенов int32 размерности [1,128] и дополнительный тензор внимания, формируя выходные логиты размерности [1,128,51865]. По имени файла экспорт рассчитан на аудиофрагменты длительностью до 30 секунд. Сильной стороной модели является перенос Whisper в компактный формат LiteRT TFLite, подходящий для интеграции в среды с поддержкой этого формата. README не содержит сведений о точном перечне языков, требованиях к ресурсам, производительности, качестве распознавания или особенностях поддержки потоковой обработки, поэтому эти характеристики нельзя надёжно оценить. Репозиторий распространяется по лицензии Apache 2.0.

1.1K2май 2026
textaudioapache-2.0hugging-face
aneforge
whisper-base.en

aneforge/whisper-base.en — англоязычная модель распознавания речи семейства Whisper от OpenAI, опубликованная ANEForge для запуска через ANEForge на Apple Neural Engine. Репозиторий содержит байт-в-байт копию весов openai/whisper-base.en в формате safetensors; архитектура — плотная WhisperForConditionalGeneration, размер — 51,7 млн параметров. Модель преобразует аудио в текстовую расшифровку. Она принимает монофонический аудиосигнал с частотой 16 кГц; базовая модель предназначена для английской речи. ANEForge компилирует граф модели в программу для Apple Neural Engine и загружает веса из репозитория. Модель распространяется по лицензии Apache-2.0. README описывает её как неизменённую копию исходной модели, поэтому отдельное дообучение не подтверждается; назначение репозитория — совместимость с ANEForge. Подробности о точности и ограничениях распознавания следует смотреть в карточке исходной модели.

591авг. 2026ctx1K
textaudioapache-2.0hugging-face
inesc-id
WhisperLv3-FT

inesc-id/WhisperLv3-FT — дообученная модель распознавания речи на основе OpenAI Whisper large-v3, созданная на датасете 425. Это мультиязычная архитектура Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. В карточке приведён результат оценки на тестовом наборе: loss 0,1162 и WER 3,9720; единицы измерения и условия оценки не описаны. Базовая модель поддерживает транскрибацию и перевод аудио в текст, однако для этой версии README не уточняет конкретные языки, сценарии применения или ограничения. Лицензия — Apache-2.0.

3967май 2025
textaudioapache-2.0hugging-face
ihanif
whisper-turbo-ar-v2

ihanif/whisper-turbo-ar-v2 — дообученная модель распознавания речи на основе openai/whisper-large-v3-turbo, созданная Hanif Rahman. Она предназначена для преобразования аудио в текст; обучение проводилось на наборе Common Voice 17.0. В карточке приведены результаты оценки: WER 39,2011 и орфографический WER 39,8068. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и распространяется в формате safetensors для Transformers. Лицензия — MIT. В карточке нет сведений о целевом языке или специальной области применения; суффикс ar в имени репозитория сам по себе этого не подтверждает.

100окт. 2024
textaudiomithugging-face
nguyenminhly
base_phase3

base_phase3 — модель распознавания речи на архитектуре wav2vec2, дообученная nguyenminhly на основе nguyenminhly/base_phase2. Она предназначена для преобразования аудиозаписей в текст. В метаданных указаны 113,3 млн параметров и формат PyTorch. В README приведены результаты оценки: WER 0,1305 и loss 0,2736; названы 44 000 шагов обучения и 49,44 эпохи. Язык распознавания и состав обучающих данных не описаны, поэтому область применения по языку или тематике определить нельзя. Модель распространяется по лицензии CC BY-NC 4.0, которая требует указания авторства и ограничивает коммерческое использование.

70сент. 2023
textaudiocc-by-nc-4.0hugging-face
laion
clap-htsat-fused

laion/clap-htsat-fused — мультимодальная модель CLAP (Contrastive Language-Audio Pretraining), разработанная LAION для сопоставления аудио с текстовыми описаниями. Она обучена на наборе LAION-Audio-630K, содержащем аудио-текстовые пары; архитектура включает аудиоэнкодер HTSAT и механизм слияния признаков. Модель насчитывает 132,1 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель предназначена для классификации аудиозаписей без обучения на конкретных классах: пользователь передаёт аудио и варианты текстовых меток, а модель оценивает их соответствие. Она также извлекает аудио- и текстовые эмбеддинги, что подходит для поиска аудио по описанию и сопоставления звука с текстом. Карточка сообщает о сильных результатах в поиске аудио по тексту и классификации с нулевым числом примеров. Метаданные указывают английский язык; лицензия — Apache-2.0. Результаты зависят от формулировок текстовых меток и охвата обучающих данных; карточка не описывает гарантии качества для отдельных языков и аудиодоменов.

7.8M165февр. 2023ctx512
audioapache-2.0hugging-face
mlx-community
diar_streaming_sortformer_4spk-v2.1-fp32

Это потоковая модель диаризации речи Sortformer, преобразованная сообществом mlx-community из модели NVIDIA diar_streaming_sortformer_4spk-v2.1 в формат MLX с помощью mlx-audio 0.3.2. В основе архитектура FastConformer из 17 слоёв, энкодер Transformer из 18 слоёв и модули Sortformer; модель принимает монофонический звук с частотой 16 кГц и выдаёт вероятности активности говорящих для каждого кадра. Она рассчитана на потоки и записи с числом говорящих до четырёх, используя кэш говорящих и контекст для обработки длинных потоков и границ аудиофрагментов. Модель подходит для разметки того, кто и когда говорит в аудиозаписи или потоке, а также для определения активности речи. README описывает веса в формате MLX, распространяемые как safetensors; для работы используется библиотека mlx-audio. Это конверсия исходной модели NVIDIA, а не самостоятельное дообучение. README отсылает к карточке исходной модели за дополнительными сведениями; лицензия и языковая специализация в предоставленных данных не описаны.

1982февр. 2026
audiohugging-face
mkrausio
EmoWhisper-AnS-Small-v0.1

mkrausio/EmoWhisper-AnS-Small-v0.1 — модель распознавания речи семейства Whisper, опубликованная Maurice Kraus (mkrausio) на Hugging Face. Карточка репозитория автоматически сгенерирована и не описывает отдельно обучение или назначение варианта AnS; она показывает загрузку через Transformers для задачи automatic speech recognition. Внешнее описание производной модели указывает, что EmoWhisper используется для получения аудиоэмбеддингов в системах анализа эмоций и характеристик голоса. Модель имеет архитектуру WhisperForConditionalGeneration и около 153,1 млн параметров; принимает аудио и выдаёт текстовую транскрипцию. Языки, контекстное окно, лицензия, обучающие данные и сравнительные показатели качества в доступных материалах не установлены. Ограничения включают недостаток документированных сведений о целевой настройке и качестве. Происхождение от базовой модели Whisper следует из семейства и внешнего описания, но конкретный идентификатор базы не подтверждён в карточке; условия лицензии также не указаны.

7.5K1апр. 2025ctx1K
textaudiohugging-face
RASMUS
Finnish-ASR-Canary-v2

RASMUS/Finnish-ASR-Canary-v2 — модель автоматического распознавания речи на финском языке, опубликованная пользователем RASMUS и дообученная на базе NVIDIA Canary-v2. Она предназначена для преобразования финской речи в текст, включая короткие записи, разговорную речь, подкасты, интервью, лекции и многоговорящие записи; для длинных аудиофайлов предусмотрены сценарии с VAD и диаризацией. Модель основана на архитектуре Fast-Conformer с attention encoder-decoder и содержит около 1 млрд параметров. Она работает с аудио и генерирует текст на финском языке, использует библиотеку NVIDIA NeMo и поддерживает дополнительное beam search-декодирование с 6-граммовой KenLM-моделью для повышения качества. Заявленные значения WER составляют 4,58% на Common Voice, 7,75% на FLEURS, 7,03% на CSS10 и 11,65% на VoxPopuli; качество зависит от типа речи и согласованности нормализации транскриптов. Сильные стороны модели — специализация на финском языке, хорошие результаты на нескольких речевых доменах и поддержка длинных записей с временными метками и диаризацией. Ограничения включают зависимость от NVIDIA NeMo и требовательную инфраструктуру; в документации для окружения тестирования указана NVIDIA GPU с не менее чем 48 ГБ VRAM. Модель распространяется по лицензии MIT.

1.5K0февр. 2026
textaudiomithugging-face
FunAudioLLM
Fun-ASR-MLT-Nano-2512

Fun-ASR-MLT-Nano-2512 — мультиязычная модель распознавания речи из семейства Fun-ASR, разработанного командой FunASR. Чекпойнт содержит около 800 млн параметров и обучен на сотнях тысяч часов многоязычной речи. Он предназначен для преобразования аудио в текст на 31 языке, с особым вниманием к языкам Восточной и Юго-Восточной Азии. Модель поддерживает управление языком распознавания; интерфейс FunASR также предоставляет настройку горячих слов и обратную текстовую нормализацию (ITN). В README приведены результаты для семейства Fun-ASR, но они не относятся непосредственно к этому чекпойнту. Возврат временных меток, диаризация говорящих и обучение модели отмечены как пока не поддерживаемые функции. Для запуска используется библиотека FunASR. Модель распространяется по лицензии Apache-2.0.

7.5K69дек. 2025
textaudioapache-2.0hugging-face
handy-computer
Fun-ASR-Nano-2512-gguf

Fun-ASR-Nano-2512-GGUF — это квантованные и неквантованные GGUF-версии модели Fun-ASR-Nano-2512, подготовленные handy-computer для работы с transcribe.cpp. Базовая модель разработана Tongyi Lab и распространяется через FunAudioLLM. Модель предназначена для офлайн-преобразования речи в текст и принимает монофонические WAV-файлы с частотой 16 кГц. Модель поддерживает китайский, английский и японский языки, а также семь китайских диалектов и 26 региональных вариантов мандаринского языка. Архитектура включает замороженный SenseVoiceEncoderSmall, двухслойный аудиоадаптер и встроенную языковую модель Qwen3-0.6B; общий объём обучаемых параметров составляет около 800 млн. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 557 МБ до 1,67 ГБ. Поддерживается обратная текстовая нормализация. Сильные стороны модели — высокая точность на английском, китайском и японском языках, компактные квантованные варианты и возможность локального запуска на CPU, Metal или Vulkan через transcribe.cpp. Ограничения: модель не поддерживает потоковую обработку, автоматический перевод, определение языка, временные метки и встроенное разбиение длинных записей на фрагменты. Указана лицензия FunASR Model Open Source License Agreement v1.1.

18K0май 2026
textaudiootherhugging-face
FunAudioLLM
Fun-ASR-Nano-2512-hf

Fun-ASR-Nano-2512-hf — версия модели распознавания речи Fun-ASR-Nano от FunAudioLLM, подготовленная для работы с библиотекой Transformers. Это плотная end-to-end модель, принимающая аудио и генерирующая текстовую транскрипцию. Она поддерживает китайский, английский и японский языки; для китайского заявлена поддержка семи диалектных групп и 26 региональных акцентов. Обучение проводилось на десятках миллионов часов реальной речи. Модель предназначена для транскрибирования аудио, в том числе китайской речи с региональными особенностями, а также английской и японской речи. Для этого HF-чекпойнта README описывает запуск через нативную поддержку Transformers и генерацию текста. Указанная в карточке лицензия — Apache-2.0. Экспорт не содержит ветвь CTC и поэтому не предоставляет зависящие от неё временные метки и диаризацию говорящих. Проверки README охватывают короткие примеры и отдельные пакетные сценарии; они не являются оценкой точности, скорости или минимальных требований к памяти. Стандартный pipeline automatic-speech-recognition в описанной версии Transformers завершался ошибкой индексации токенов; автор рекомендует использовать указанный в README маршрут через any-to-any или нативные processor/generate API.

147K22май 2026ctx131.1K
textaudioapache-2.0hugging-face
handy-computer
gigaam-v3-ctc-gguf

handy-computer/gigaam-v3-ctc-gguf — это GGUF-конверсия модели GigaAM-v3, разработанной ai-sage, для запуска в transcribe.cpp. Модель предназначена для офлайн-распознавания русской речи и преобразования аудио в текст с использованием жадного RNN-T-декодирования. Несмотря на идентификатор репозитория, в README указано, что представлен вариант с RNN-T-декодером. В основе лежит 16-слойный Conformer-энкодер; исходная GigaAM-v3 относится к моделям размером 220–240 млн параметров и предварительно обучалась на 700 000 часах русской речи с объективом HuBERT-CTC. Данная версия дообучена для вывода строчных русскоязычных текстов без пунктуации и использует символьный словарь из 33 элементов. Поддерживаются несколько вариантов точности и квантизации: F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M, размер файлов составляет примерно от 183 до 888 МБ. Сильные стороны модели — работа полностью офлайн, поддержка различных уровней квантизации и хорошее качество на русской речи: заявленный WER на полном тестовом наборе FLEURS ru составляет около 8,07–8,12% в зависимости от формата. Модель не поддерживает потоковую обработку, перевод и автоматическое определение языка; выдаёт текст без пунктуации и нормализации, а временные метки доступны на уровне токенов. Для работы требуется transcribe.cpp и входной файл WAV с частотой 16 кГц и одним каналом. Лицензия — MIT, унаследованная от базовой модели.

13K1май 2026
textaudiomithugging-face
handy-computer
gigaam-v3-e2e-ctc-gguf

Модель представляет собой GGUF-конверсию GigaAM-v3 для библиотеки transcribe.cpp, подготовленную командой handy-computer на основе ai-sage/GigaAM-v3. Это офлайн-модель автоматического распознавания русской речи с жадным декодированием RNN-T. Она предназначена для преобразования 16 кГц моноаудио в текст и локального запуска без внешней языковой модели или подключения к интернету. В основе используется 16-слойный Conformer-энкодер; исходная модель GigaAM-v3 имеет около 220–240 млн параметров и предварительно обучалась на 700 000 часах русской речи с объективом HuBERT-CTC. Данная конверсия выводит строчные русские тексты без пунктуации, использует словарь из 33 символов и поддерживает токенные временные метки. Потоковая обработка, перевод и автоматическое определение языка не поддерживаются. Доступны варианты F32, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 183 до 888 МБ. На полном тестовом наборе FLEURS ru из 775 высказываний показатель WER составляет около 8,07–8,12% в зависимости от квантизации. Модель ориентирована на русскую речь в различных доменах, включая естественную речь, колл-центры, фоновую музыку и речь с нетипичными характеристиками. Ограничения включают отсутствие пунктуации и нормализации текста, отсутствие потокового режима и ограничения базового декодирования для длинных аудиофайлов. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

33K0май 2026
textaudiomithugging-face
Anilosan15
kani-tts-400m-0.3-tr

Anilosan15/kani-tts-400m-0.3-tr — турецкая дообученная версия Kani-TTS 400M на архитектуре LFM2. Разработчик адаптировал модель на примерно 61 час многоголосых турецких аудиоданных из публичных YouTube-каналов, подготовленных с сегментацией, очисткой и выравниванием транскриптов. В обучении использованы два голоса, обозначаемые тегами sıla и taha. Модель преобразует текст в турецкую речь и предназначена для озвучивания повествовательных текстов и закадрового голоса. Дообучение нацелено на улучшение турецкого произношения, просодии и естественности; теги голосов позволяют выбирать между двумя голосами. Размер — около 460 млн параметров, нативный контекст — 128 000 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не сообщает о независимой оценке качества, поэтому пригодность синтеза для конкретных сценариев стоит проверять на собственных текстах. Модель обучена на данных, собранных с публичных YouTube-каналов; условия использования этих аудиоданных в карточке не раскрыты.

497дек. 2025ctx128K
textapache-2.0hugging-face
mlx-community
kitten-tts-mini-0.8

Kitten TTS Mini 0.8 (MLX) — конверсия модели синтеза речи KittenML/kitten-tts-mini-0.8 в формат MLX, опубликованная сообществом mlx-community. Модель предназначена для преобразования текста в речь; карточка указывает задачу text-to-speech и формат весов safetensors. Исходные веса были в ONNX; квантованные веса ONNX деквантизировали до float при конверсии для MLX. Модель распространяется по лицензии Apache-2.0. В карточке не описаны поддерживаемые языки, голоса и длина контекста.

1872февр. 2026
textaudioapache-2.0hugging-face
zencastr
laughter-detection

Модель Zencastr Laughter Detection разработана Zencastr для обнаружения смеха в разговорной речи, записанной на близко расположенные микрофоны, в частности в подкастах. Она принимает аудио и классифицирует его по кадрам, а затем объединяет оценки в события с приблизительными временными отметками. Входной сигнал преобразуется в лог-мел-спектрограмму на частоте 16 кГц; оценки выдаются с шагом 160 мс на перекрывающихся четырёхсекундных окнах. Модель содержит 113,2 млн параметров и основана на EAT-base, дообученной с LoRA для обнаружения смеха; доступны веса Safetensors и варианты ONNX для CPU и GPU. Модель предназначена для разметки подкастов и разговорных записей, поиска эпизодов смеха и анализа звуковых событий. В README приведены разные режимы настройки порога для приоритета точности или полноты. На тестах, описанных авторами, модель показала высокую точность обнаружения на нескольких разговорных наборах данных, однако порог влияет на баланс ложных срабатываний и пропусков; точность временных отметок ограничена. Проверка параметров проводилась на внутренних подкастных записях Zencastr. Лицензия — MIT.

1383сент. 2026
audiomithugging-face
maya-research
maya1

Maya1 — авторегрессионная модель синтеза речи, разработанная Maya Research и опубликованная на Hugging Face. Она принимает текст вместе с описанием желаемого голоса на естественном языке, например с указанием тембра, высоты, темпа, акцента и манеры речи, и генерирует аудио. Для управления выражением речи поддерживаются встроенные маркеры эмоций и вокальных событий; модель предсказывает дискретные акустические токены SNAC, которые декодируются в звуковую волну. В основе лежит decoder-only трансформер семейства Llama примерно на 3,3 млрд параметров: 28 слоёв, 24 головы внимания и 8 key-value голов. В README заявлены инкрементальная выдача аудио, развёртывание на одной GPU и интеграция с vLLM. Метаданные указывают контекст 131 072 токена и язык карточки en; это не гарантирует одинаковое качество речи на всех языках. Модель предназначена для озвучивания текста с настраиваемым голосом и выразительной подачей, в том числе в голосовых интерфейсах и службе поддержки. Лицензия — Apache 2.0. Ограничения включают вариативность произношения и разборчивости между языками и акцентами, приблизительное следование описаниям голоса, возможные пропуски, повторы и ошибки в именах или числах, а также снижение согласованности на длинных фрагментах. Маркеры выражения не задают точные временные границы, длительность или интенсивность. Для развёртывания нужны вычислительные ресурсы и отдельные меры защиты и контроля приложения.

6.9K909окт. 2025ctx131.1K
textapache-2.0hugging-face
plaincompute
mlx-MOSS-Transcribe-Diarize-8bit

plaincompute/mlx-MOSS-Transcribe-Diarize-8bit — восьмибитная версия MOSS-Transcribe-Diarize для запуска через MLX на Apple Silicon. Веса текстовой части модели квантизированы методом MLX affine quantization с bits=8 и group_size=64; аудиоэнкодер Whisper и VQ-адаптер не квантизированы. Репозиторий основан на vanch007/mlx-MOSS-Transcribe-Diarize. Модель предназначена для распознавания речи из аудиофайлов и разделения транскрипта по говорящим. Метаданные указывают задачу automatic-speech-recognition и поддержку speaker diarization. Используется архитектура MossTranscribeDiarizeForConditionalGeneration с аудиоэнкодером Whisper. Лицензия — Apache-2.0.

200июль 2026ctx131.1K
textapache-2.0hugging-face
hts98
Model2

hts98/Model2 — модель автоматического распознавания речи на архитектуре Whisper с 455,8 млн параметров. Разработчик указывает, что модель дообучена на основе hts98/Model1; задача обучения названа, но набор данных обозначен как None. Модель принимает аудио и генерирует текстовую транскрипцию. Она распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не содержит сведений о целевых языках, сценариях применения, результатах оценки или известных ограничениях. Поэтому качество распознавания и пригодность для конкретных типов аудио по имеющимся данным определить нельзя.

60май 2023ctx1K
textaudioapache-2.0hugging-face
moonshine-ai
moonshine-streaming-small-de

Moonshine Streaming Small — German — это модель распознавания немецкой речи от Moonshine AI. Она принимает аудио и выдаёт текстовую расшифровку; потоковая архитектура сочетает временной аудиофронтенд с частотой 50 Гц и Transformer-энкодер со скользящими окнами, поэтому транскрипцию можно получать по мере поступления речи. В README указано 112,9 млн параметров, тогда как метаданные каталога сообщают 48,2 млн; точный размер здесь не приводится из-за расхождения источников. Модель использует немецкий токенизатор на 12 288 токенов и предназначена для локального запуска на устройствах с ограниченными ресурсами. Чекпойнт Stage B дообучен на весах Stage A; репозиторий содержит конвертированный файл safetensors. Обучающие данные включают большой корпус подкастов с автоматическими псевдоаннотациями и меньший набор расшифрованной речи. В тестах на двух наборах немецкой читаемой речи макро-WER составил 7,35 при указанном в README правиле остановки. Лицензия — MIT. Модель может ошибаться в именах собственных, числах и переключениях между языками, поскольку большая часть обучающих расшифровок создана автоматически. Она склонна к повторениям на коротких или зашумлённых записях; в README рекомендуется ограничивать длину вывода. Качество не оценивалось на телефонной речи, детской речи, сильных диалектах и шумных дальних записях.

961авг. 2026ctx4.1K
textaudiomithugging-face
simran14
mr-val-f2

simran14/mr-val-f2 — дообученная модель распознавания речи на архитектуре Whisper, разработанная на базе simran14/mr-val-e. Она предназначена для преобразования аудиозаписей в текст; в метаданных указан датасет Common Voice 17.0. Модель содержит 153,1 млн параметров и распространяется в формате Safetensors. В README приведён результат оценки WER 0,5368 на тестовом наборе, однако подробности протокола оценки и условия применения не описаны. Лицензия в предоставленных данных не указана.

120авг. 2024ctx1K
textaudiohugging-face
rwightman
naflexclap_base_pf8_pt16_moderntext.160m

naflexclap_base_pf8_pt16_moderntext.160m — чекпойнт семейства NaFlexCLAP, опубликованный rwightman. Модель предназначена для сопоставления аудио и текстовых описаний и классификации звуков без дообучения на целевых классах: пользователь задаёт названия классов или текстовые запросы, а модель оценивает их соответствие аудиозаписи. README сообщает о 160,6 млн параметров и описывает аудиобашню с конфигурацией 768/12/12 и текстовую башню с двунаправленным кодированием, MAP-пулингом и нормализацией QK; веса доступны в форматах PyTorch и safetensors. В README приведены сравнительные оценки на наборах CLAP и MAEB, включая ESC-50, UrbanSound и задачи поиска по аудио и тексту. Результаты классификации чувствительны к формулировке текстового шаблона, поэтому качество может заметно меняться при изменении prompt. Карточка не указывает языки модели или её контекстное окно. Лицензия — MIT.

140авг. 2026
textimagemithugging-face
pyannote
overlapped-speech-detection

pyannote/overlapped-speech-detection — открытая модель для обнаружения участков аудиозаписи, в которых одновременно говорят два или более человека. Она разработана для экосистемы pyannote.audio; среди авторов и разработчиков указаны Hervé Bredin, Antoine Laurent и участники команды pyannote.audio. Модель предназначена для анализа многоголосой речи и может использоваться как компонент систем автоматической диаризации, распознавания речи и обработки записей встреч, разговоров и других аудиоданных с перекрывающейся речью. Результатом работы является временная шкала интервалов, в которых обнаружена одновременная активность нескольких говорящих. Модель работает с аудио; сведения о поддерживаемых языках, размере, точной архитектуре и максимальной длине контекста в README не указаны. Pipeline основан на pyannote.audio 2.1 и обучался или оценивался с использованием данных AMI, DIHARD и VoxConverse. Сильная сторона модели — специализированное обнаружение перекрывающейся речи, полезное для последующей overlap-aware resegmentation и повышения качества анализа многоголосых записей. Ограничения включают отсутствие в README подробных количественных метрик, информации о языковой универсальности, вычислительных требованиях и гарантируемой производительности в конкретных условиях. Модель распространяется под лицензией MIT, однако для использования через указанный pipeline требуется принять условия доступа к модели pyannote/segmentation на Hugging Face и применить токен доступа.

1.8K65март 2022
textaudiomithugging-face
vibe-app
parakeet-tdt-0.6b-v3-gguf

Parakeet TDT 0.6B V3 GGUF — квантованная сборка модели автоматического распознавания речи NVIDIA Parakeet TDT 0.6B V3, подготовленная в формате GGUF Q4_K_M. Модель предназначена для преобразования речи в текст и использования в приложении Vibe, где она работает совместно с Silero VAD для транскрибации ограниченных по длительности и длинных аудиозаписей. В README указано, что это модель размером 0,6 млрд параметров в GGUF-представлении; сведения о поддерживаемых языках, точной архитектуре, максимальном контексте, модальностях и показателях качества не приведены. Ключевое преимущество — адаптация для локального использования через Vibe и совместимость с механизмом определения речевой активности. Ограничения по качеству, производительности и аппаратным требованиям не описаны. Для исходной модели указана лицензия CC-BY-4.0; перед использованием следует ознакомиться с условиями этой лицензии.

1.0K1июль 2026
textaudiohugging-face
BuzzASR
polish

BuzzASR Polish — одноязычная модель автоматического распознавания польской речи, разработанная в рамках набора BuzzASR и дообученная полным циклом на основе openai/whisper-large-v3. Модель использует архитектуру WhisperForConditionalGeneration и содержит около 907,3 млн параметров; для польского заменён токенизатор, а при дообучении применялись речевые и текстовые данные. Модель предназначена для преобразования польской речи в текст, например для транскрибации записей и аудио. В README приведены результаты на тестовых выборках FLEURS и Common Voice 25.0; на объединённой выборке указаны CER 7,75% и WER 23,31%. Лицензия модели — MIT. Модель рассчитана только на польский язык. README предупреждает, что качество на других предметных областях и диалектах может отличаться от результатов на использованных тестовых наборах.

1012сент. 2026
textaudiomithugging-face
pyannote
segmentation

pyannote/segmentation — открытая модель семейства pyannote-audio для сегментации речи по говорящим, разработанная командой pyannote. Она предназначена для обнаружения речевых фрагментов, речи нескольких говорящих одновременно и уточнения временных границ сегментов, в том числе при повторной сегментации результатов VBx. Модель принимает аудио и выдаёт оценки по временным участкам, используемые для этих задач. Модель реализована на PyTorch и используется через pyannote.audio; README указывает версию 2.1.1. Карточка описывает воспроизводимые эксперименты на наборах AMI Mix-Headset, DIHARD3 и VoxConverse. Для загрузки требуется принять условия доступа на Hugging Face и использовать токен. Лицензия — MIT. README предупреждает, что для промышленного применения pyannoteAI предлагает более быстрые и качественные варианты. Приведённые параметры обработки зависят от набора данных, поэтому качество на других записях может отличаться.

615K704март 2022
audiomithugging-face
sil-ai
senga-nt-canon-mat-tts

senga-nt-canon-mat-tts — дообученная модель Microsoft SpeechT5 для синтеза речи по тексту. В метаданных указаны архитектура SpeechT5, библиотека Transformers и формат весов safetensors; README сообщает значение loss 0,2274 на наборе оценки. Модель предназначена для преобразования текста в аудио. Подробности о голосе, языках синтеза, данных обучения и практических сценариях в карточке не раскрыты. Использование регулируется лицензией MIT.

200июль 2026ctx600
textaudiomithugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей