/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
2 731–2 760 из 4 835
anton-l
xtreme_s_xlsr_300m_mls

Модель anton-l/xtreme_s_xlsr_300m_mls — дообученная на датасете GOOGLE/XTREME_S - MLS версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Она принимает аудио и преобразует речь в текст; архитектура основана на Wav2Vec2ForCTC, а число параметров составляет около 402,7 млн. В README приведены результаты на оценочной выборке: WER 0,3033 и CER 0,0951. Модель предназначена для сценариев распознавания речи, где требуется получить текстовую транскрипцию аудио. Язык или языки распознавания и длина контекста в доступных сведениях не уточнены. Модель распространяется по лицензии Apache-2.0.

171март 2022
textaudioapache-2.0hugging-face
viethang
cohere-transcribe-03-2026

Cohere Transcribe — открытая модель распознавания речи с аудиовходом и текстовым выходом, разработанная Cohere и Cohere Labs. Это специализированная плотная модель архитектуры Cohere ASR размером 2 млрд параметров, обученная с нуля для эффективной транскрипции. Она поддерживает 14 языков: арабский, немецкий, греческий, английский, испанский, французский, итальянский, японский, корейский, нидерландский, польский, португальский, вьетнамский и китайский. Модель доступна через Transformers и подходит для локального распознавания, а для онлайн-сервинга в README рекомендуется vLLM. По данным разработчиков, модель обеспечивает высокую точность транскрипции на поддерживаемых языках и может работать до трёх раз быстрее других специализированных ASR-моделей сопоставимого размера. Лучше всего она работает с аудио на одном заранее выбранном языке: автоматического определения языка нет, а переключение языков в речи обрабатывается непоследовательно. Модель не формирует временные метки и не выполняет диаризацию; на тишине и фоновых звуках может выдавать галлюцинации, поэтому для таких записей полезен предварительный VAD или шумовой порог. Лицензия — Apache-2.0.

1450май 2026ctx2K
textaudioapache-2.0hugging-face
ai-babai
gigaam-multilingual-mlx

GigaAM-Multilingual MLX FP16 — независимый порт модели распознавания речи GigaAM-Multilingual для запуска через MLX на Apple Silicon. Модель преобразует аудио в текст и рассчитана прежде всего на офлайн-транскрибацию на macOS; артефакт содержит веса FP16 размером около 1,17 ГБ и распространяется по лицензии MIT. Модель поддерживает русский, английский, казахский, кыргызский и узбекский языки. В сравнительном тесте на публичных наборах для основных языков FP16 показал макро WER 5,066%; качество и скорость могут отличаться на других устройствах и аудиоданных. Для работы нужны Apple Silicon, macOS 14 или новее и совместимая версия MLX. Это распознавание речи без диаризации и потоковой обработки. Временные метки слов приблизительны; качество может снижаться из-за шума, удалённой речи, акцентов, переключения языков, музыки, одновременной речи и тематически отличающихся данных.

752июль 2026
textaudiomithugging-face
loom-ai-org
granite-speech-4.0-1b-loom

Granite Speech 4.0 1B Loom — экспорт речевой модели IBM Granite 4.0 1B Speech, подготовленный для запуска в loom.cpp. Репозиторий содержит веса в формате GGUF; по README, параметры модели не изменялись при экспорте, а сама модель перенесена в формат упаковки loom.cpp. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст. Она поддерживает английский, французский, немецкий, испанский, португальский и японский языки. Запуск предусмотрен через библиотеку loom-py-rt, которая предоставляет высокоуровневый интерфейс с настройками оконной обработки, сэмплирования и сборки результата. Модель основана на IBM Granite 4.0 1B Speech; размер 1B указан в названии, однако точное число параметров в метаданных отсутствует. Репозиторий распространяется по лицензии Apache-2.0. Указанный формат GGUF и связка с loom.cpp ориентированы на работу в соответствующей программной среде.

1530авг. 2026
textaudioapache-2.0hugging-face
dianavdavidson
indic_whisper_hi_multi_gpu_vaani_62612_ratio_alldata_lr_1e-4_lgid_None_epochs_100_FT

Это дообученная модель Whisper на 455,8 млн параметров, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; в README приведены результаты оценки: loss 0,6319 и Global WER 14,3953. Базовая модель ориентирована на индийские языки, с подтверждённой поддержкой хинди. Модель принимает аудио и выдаёт текстовую транскрипцию. Она распространяется в формате safetensors и имеет лицензию MIT. Данные обучения в карточке не раскрыты, поэтому результаты и пригодность для конкретных акцентов, условий записи или других языков следует проверять на собственных аудио.

150сент. 2026ctx1K
textaudiomithugging-face
nileq
kazakh-omni-asr-ctc

nileq/kazakh-omni-asr-ctc — модель автоматического распознавания казахской речи, разработанная Nileq на базе OmniASR wav2vec2.5 large и дообученная с функцией потерь CTC. Она использует архитектуру Wav2Vec2ForCTC с 24 слоями энкодера, размером скрытого состояния 1024 и 16 головами внимания; словарь SentencePiece содержит 9812 токенов. Модель принимает монофоническое аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Вес модели составляет 412,7 млн параметров; файлы опубликованы в формате safetensors. Модель предназначена для транскрибации казахской речи и интеграции в системы распознавания аудио. Указанная лицензия — Apache-2.0. Карточка сообщает о 20 000 шагах обучения; качество на реальных записях и устойчивость к шуму отдельно не охарактеризованы.

190июнь 2026
textaudioapache-2.0hugging-face
moonshotai
Kimi-Audio-7B

Kimi-Audio-7B — базовая аудиомодель с открытыми весами от Moonshot AI. Она объединяет обработку аудио и языковую модель с параллельными выходами для текстовых и аудиотокенов; аудио на входе представляется непрерывными акустическими и дискретными семантическими токенами. Модель насчитывает 7,1 млрд параметров, имеет контекст 8192 токена и распространяется в формате Safetensors. Модель предназначена для распознавания речи, ответов на вопросы об аудиозаписях, описания звуков, распознавания эмоций и классификации звуковых событий и сцен, а также генерации речи и аудиодиалога. Для генерации аудио предусмотрена потоковая обработка чанками. В карточке указаны английский и китайский языки; обучение проводилось на более чем 13 млн часов аудио и текстовых данных. Это базовая модель без дообучения, поэтому для готовых прикладных сценариев требуется fine-tuning; автор рекомендует вариант Kimi-Audio-7B-Instruct для использования без дополнительной настройки. Лицензия — MIT.

21796апр. 2025ctx8.2K
textmithugging-face
aadel4
omniASR-CTC-300M

omniASR-CTC-300M — конверсия чекпойнта OmniLingual omniASR_CTC_300M в формат Hugging Face, опубликованная aadel4. Это модель распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием: она принимает аудио и выдаёт логиты по SentencePiece-словарю для транскрибирования речи на нескольких языках. В метаданных указано 412,7 млн параметров; модель использует класс Wav2Vec2ForCTC и библиотеку Transformers. В карточке описаны 24 слоя энкодера и размер скрытого состояния 1024. Автор сообщает, что результаты модели совпадают с исходным чекпойнтом fairseq2 с точностью до atol=1e-4 на контрольном аудиофрагменте, и приводит совпадающую транскрипцию. Модель предназначена для многоязычного ASR; конкретные поддерживаемые языки в карточке не перечислены. Условия лицензирования в предоставленных данных не описаны.

1391март 2026
textaudiohugging-face
ziywang50
omniASR-LLM-7B

omniASR-LLM-7B — форк модели Meta AI из семейства Omnilingual ASR, подготовленный для интеграции с vLLM. Согласно README, веса идентичны оригинальной facebook/omniASR-LLM-7B: изменена только упаковка, добавлены конфигурация Hugging Face, настройки токенизатора и таблица языковых идентификаторов. Это плотная модель класса OmniAsrForConditionalGeneration с весами в формате safetensors. Модель предназначена для автоматического распознавания речи на множестве языков; семейство заявляет поддержку более 1600 языков. Форк позволяет запускать распознавание через vLLM. README не приводит точного числа параметров именно этой 7B-версии. Репозиторий распространяется по лицензии Apache 2.0.

280июнь 2026ctx8.2K
textaudioapache-2.0hugging-face
OpenVoiceOS
qwen3-asr-0.6b-f16

OpenVoiceOS опубликовала конвертированную в формат GGUF версию модели Qwen3-ASR-0.6B с тензорами F16. Это модель автоматического распознавания речи, предназначенная для запуска на периферийных устройствах и CPU-системах. Модель принимает аудио и преобразует речь в текст. В карточке указана поддержка китайского, английского, арабского, немецкого, французского, испанского, португальского, индонезийского, итальянского, корейского, русского, тайского, вьетнамского, японского, турецкого, хинди, нидерландского, шведского, датского и финского языков; теги README также перечисляют малайский, фарси, греческий, венгерский, македонский, румынский, чешский и филиппинский. Формат GGUF упрощает использование модели в CPU- и edge-средах. Для работы с этой версией нужна среда выполнения, совместимая с GGUF. Модель распространяется по лицензии Apache 2.0, унаследованной от исходной Qwen/Qwen3-ASR-0.6B.

1.3K0февр. 2026
textaudiohugging-face
cstr
sensevoice-small-GGUF

cstr/sensevoice-small-GGUF — GGUF-квантизированная версия SenseVoiceSmall, разработанной Alibaba и опубликованной под брендом FunAudioLLM. Модель предназначена для автоматического распознавания речи и запуска через backend sensevoice в CrispASR. Помимо транскрипции, она определяет язык речи, эмоцию, аудиособытия и режим текстовой нормализации. Это многозадачная encoder-only ASR-модель с 70-блочным SANM-энкодером, четырьмя головами и CTC-выходом на 25 055 SentencePiece-токенов. Архитектура использует четыре query embedding для языка, аудиособытий, эмоций и нормализации текста. Поддерживается более 50 языков с нативной идентификацией; в карточке явно указаны китайский, кантонский, английский, японский и корейский. Модель неавторегрессионная и, по данным README, значительно быстрее Whisper-Large: около 70 мс на 10 секунд аудио в измерениях upstream. Доступны варианты F16 размером 448 МБ, Q8_0 размером 240 МБ и Q4_K размером 129 МБ; Q4_K рекомендован как вариант по умолчанию. Квантизация сохраняет идентичные транскрипции на проверенных английских и японских примерах, однако возможны изменения на пограничных случаях классификации эмоций. Модель ориентирована на локальный инференс и эффективное распознавание речи, но README не приводит подробных оценок качества по языкам и сценариям. Файлы наследуют FunASR Model License v1.1 для весов; коммерческое использование разрешено с указанием авторства. Код upstream-пакета funasr распространяется по Apache-2.0. При использовании требуется атрибуция Alibaba/FunAudioLLM; репозиторий содержит только конвертацию и квантизацию исходных весов без дообучения или изменения архитектуры.

2.9K2май 2026
textaudiootherhugging-face
FunAudioLLM
SenseVoiceSmall-GGUF-audiocpp

SenseVoiceSmall-GGUF-audiocpp — квантованный экспорт модели SenseVoiceSmall, разработанной FunAudioLLM, предназначенный для автоматического распознавания речи. Модель упакована в формат GGUF для запуска в runtime audio.cpp и содержит встроенную спецификацию sense_asr, метаданные SenseVoice, словарь SentencePiece, тензоры CMVN и 919 тензоров модели. Представленный файл использует квантование Q8_0, занимает около 254 МБ и рассчитан на прямой запуск на CPU через audio.cpp без внешней спецификации модели. В README явно указана поддержка китайского, английского, кантонского, японского и корейского языков. Модель подходит для локального распознавания аудиозаписей и потоков в сценариях, совместимых с интерфейсом audio.cpp; приведённый пример использует задачу ASR. К сильным сторонам относятся автономная упаковка всех необходимых компонентов, запуск на CPU и воспроизводимый экспорт из конкретной ревизии SenseVoiceSmall. Ограничения — отсутствие в предоставленных данных подробностей об архитектуре, размере исходной модели, максимальной длине контекста, производительности и поддерживаемых модальностях помимо речи. Модель распространяется по лицензии Apache-2.0.

30K4авг. 2026
textaudioapache-2.0hugging-face
rewayai
suplime

SUPlime — модель диаризации речи с открытыми весами от Re:WayAI для pyannote.audio 4.x. Она принимает монофоническую аудиозапись с частотой 16 кГц и определяет, кто и когда говорит, без необходимости заранее задавать число говорящих. Модель сегментации использует WavLM-Base+ с 114 млн параметров, четыре слоя Conformer и выходную powerset-голову; для эмбеддингов говорящих применяется WeSpeaker SimAM-ResNet34, а сегменты группируются агломеративной кластеризацией. Модель дообучена на обучающих выборках 11 публичных корпусов. В описанном сравнении SUPlime показала лучшие результаты среди двух вариантов семейства на наборе из 12 корпусов; для 8-корпусного бенчмарка лучше подходит SUPlime-L. Модель рассчитана на совещания, разговорную речь, дальнюю запись и аудио с несколькими участниками. Ограничения включают поддержку не более двух одновременных говорящих на кадр и четырёх говорящих в 10-секундном окне; телефонная речь 8 кГц находится вне обучающего домена. Английский и китайский доминируют в обучающих данных, а оценка справедливости по языкам и демографическим группам не проводилась. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

5660сент. 2026
textaudiocc-by-nc-4.0hugging-face
microsoft
VibeVoice-ASR-BitNet

VibeVoice-ASR-BitNet — сжатая версия модели VibeVoice-ASR, разработанная участниками Microsoft Research. Это модель автоматического распознавания речи, предназначенная для локальной транскрипции аудио в реальном времени на периферийных устройствах и обычных CPU без GPU. Модель использует VAE-токенизатор и LM-декодер с гетерогенной квантизацией: компоненты представлены в форматах I8_S, I2_S и Q6_K. Размер уменьшен с 4,62 до 1,58 ГБ, а для вычислений применяются оптимизированные SIMD-ядра в рамках ggml для платформ x86 с AVX2 и ARM с NEON. При использовании от трёх потоков достигается коэффициент реального времени менее 1; заявленная скорость выше Whisper.cpp в 1,6–2,3 раза в зависимости от конфигурации. Поддерживаются английский, китайский, французский, итальянский, корейский, португальский и вьетнамский языки, а также другие языки согласно описанию проекта. Сильные стороны модели — компактность, работа на CPU, пригодность для edge-сценариев и низкая задержка. Ограничение — небольшое ухудшение точности по сравнению с исходной VibeVoice-ASR и заметно различающиеся результаты на разных языках и наборах данных; производительность зависит от числа потоков и аппаратных SIMD-инструкций. Проект распространяется по лицензии MIT.

65K206июль 2026ctx32.8K
textaudiomithugging-face
christopherthompson81
VibeVoice-ASR-Streaming-1.5B-GGUF

VibeVoice ASR Streaming 1.5B GGUF — это сборка модели автоматического распознавания речи Microsoft VibeVoice ASR Streaming 1.5B, подготовленная в формате GGUF для работы с audio.cpp. Модель предназначена для офлайн-транскрибации аудио и потокового распознавания речи в реальном времени, включая серверные сценарии. Указана поддержка английского, китайского, испанского, португальского, немецкого, японского, корейского, французского, русского и итальянского языков. Модель содержит около 1,5 млрд параметров и поддерживает потоковый режим ASR. Доступны варианты BF16, Q8_0 и Q4_K с различным соотношением качества и размера: примерно 5,64 ГБ, 3,34 ГБ и 2,12 ГБ соответственно. Для потоковой обработки требуется монофонический PCM-аудиосигнал с частотой 16 кГц и 16-битным знаковым форматом. В README также заявлена поддержка транскрибации с атрибуцией говорящих, однако подробности этой функции не приведены. Сильными сторонами являются нативная интеграция с audio.cpp, автономный формат GGUF и наличие нескольких вариантов квантования. На небольшом наборе из четырёх фрагментов LibriSpeech указанный WER составил 4,35% для BF16, 5,80% для Q8_0 и 7,25% для Q4_K при CUDA; результаты зависят от backend и размера тестовой выборки, поэтому не характеризуют качество во всех сценариях. Модель распространяется по лицензии MIT.

52K0сент. 2026
textaudiomithugging-face
aconeil
w2v2-lmk_updated

aconeil/w2v2-lmk_updated — модель автоматического распознавания речи на архитектуре wav2vec 2.0, дообученная на базе facebook/wav2vec2-large-xlsr-53. Она предназначена для преобразования аудиозаписей речи в текст. Модель содержит 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. В README приведены результаты на оценочном наборе: WER 0,5749 и CER 0,2049. Для обучения использован набор данных audiofolder. Модель распространяется в формате safetensors по лицензии Apache-2.0. Язык распознавания и подробные ограничения в карточке не описаны.

200нояб. 2025
textaudioapache-2.0hugging-face
jadasdn
wav2vec2-2

jadasdn/wav2vec2-2 — дообученная модель распознавания речи на базе jadasdn/wav2vec2-1. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров. Модель принимает аудио и преобразует речь в текст; README сообщает результат оценки WER 0,3593 и loss 0,8353. Модель подойдёт для распознавания речи в аудиозаписях и интеграции в системы автоматической транскрибации. Данные о поддерживаемых языках, обучающем наборе и целевых сценариях в карточке не приведены. Распространяется по лицензии Apache-2.0.

70нояб. 2023
textaudioapache-2.0hugging-face
lgris
wav2vec2_base_10k_8khz_pt_cv7_2

Это модель автоматического распознавания речи на базе Wav2Vec2ForCTC с 113,3 млн параметров. Её разработчик lgris дообучил модель lgris/seasr_2022_base_10k_8khz_pt на наборе Common Voice 7.0 для распознавания португальской речи; модель принимает аудио и выдаёт текст. В README указана оценка WER 0,1979 на наборе оценки. Модель распространяется под лицензией Apache-2.0.

192март 2022
textaudioapache-2.0hugging-face
Xenova
wav2vec2-base-960h

Xenova/wav2vec2-base-960h — веб-совместимая версия модели facebook/wav2vec2-base-960h, подготовленная сообществом Xenova. Модель содержит веса в формате ONNX и предназначена для запуска через библиотеку Transformers.js, включая выполнение в JavaScript-средах. Основной сценарий использования — автоматическое распознавание речи и преобразование аудиозаписей в текст. В README приведён пример транскрибации аудиофайла с помощью pipeline automatic-speech-recognition. Модель основана на архитектуре Wav2Vec2; точный размер, поддерживаемые языки, максимальная длина контекста и перечень модальностей в представленном описании не указаны. Пример вывода содержит английскую речь, однако официальные языковые ограничения README не уточняет. Ключевое преимущество модели — возможность использовать ONNX-веса в Transformers.js и интегрировать распознавание речи в JavaScript-приложения. Ограничения включают зависимость от совместимой среды выполнения и отсутствие в README подробных сведений о качестве, производительности, требованиях к ресурсам и поддерживаемых языках. Лицензия в предоставленных данных не указана.

3.1K3июль 2023
texthugging-face
hf-audio
wav2vec2-bert-CV16-en

wav2vec2-bert-CV16-en — модель автоматического распознавания речи, разработанная на основе ylacombe/w2v-bert-2.0 и дообученная на англоязычном наборе MOZILLA-FOUNDATION/COMMON_VOICE_16_0. Она построена на архитектуре Wav2Vec2BertForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает результаты на тестовой выборке: WER 0,1455 и CER 0,0580. Репозиторий использует формат safetensors. Лицензия в предоставленных данных не указана.

1.8K8янв. 2024
textaudiohugging-face
arfik
wav2vec2-large-mms-1b-kyrgyz-colab

arfik/wav2vec2-large-mms-1b-kyrgyz-colab — модель распознавания речи, дообученная на базе facebook/mms-1b-all на наборе Common Voice 17.0. Она использует архитектуру wav2vec2 с CTC-выходом и содержит 1,3 млрд параметров. Модель предназначена для преобразования кыргызской речи в текст; на указанной в карточке оценочной выборке результат WER составил 0,2312, а loss — 0,2384. Базовая модель поддерживает более тысячи языков, но эта версия настроена на кыргызский. Модель принимает аудио и выдаёт текст. Для использования весов применяется библиотека Transformers, файлы опубликованы в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

122янв. 2025
textaudiocc-by-nc-4.0hugging-face
KBLab
wav2vec2-large-voxrex-swedish

KBLab разработала wav2vec2-large-voxrex-swedish — модель распознавания шведской речи на базе архитектуры Wav2Vec 2.0 Large с выходом CTC. Её дообучили на шведских радиопередачах, данных NST Swedish ASR Database и Common Voice; позднее добавили ещё 20 тысяч шагов обучения на Common Voice. Модель содержит около 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц. Модель предназначена для преобразования шведской речи в текст, в том числе записей радио и голосовых данных общего характера. В README указана частота ошибок слов (WER) 2,5% на тестовой выборке NST и Common Voice; на тестовой выборке Common Voice — 8,49% без языковой модели и 7,37% с 4-граммной языковой моделью. Дополнительное обучение на Common Voice повысило результат на этой выборке, но несколько ухудшило результат на тесте NST и Common Voice. Модель распространяется по лицензии CC0 1.0.

1.0M20март 2022
textaudiocc0-1.0hugging-face
ceyda
wav2vec2-large-xlsr-53-turkish

ceyda/wav2vec2-large-xlsr-53-turkish — модель распознавания речи, дообученная на турецком языке разработчиком карточки на основе facebook/wav2vec2-large-xlsr-53 с использованием данных Common Voice. Она преобразует аудиозапись речи в текст и предназначена для распознавания турецкой речи; входной сигнал должен иметь частоту дискретизации 16 кГц. Модель использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Доступны веса PyTorch и Flax. В README приведён результат 27,59 % на тестовых данных Common Voice, однако метрика не названа, поэтому напрямую интерпретировать её качество нельзя. Модель распространяется по лицензии Apache-2.0.

1312март 2022
textaudioapache-2.0hugging-face
anton-l
wav2vec2-large-xlsr-53-ukrainian

Wav2Vec2-Large-XLSR-53-Ukrainian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на украинском языке на данных Common Voice. Она принимает аудио и преобразует речь в текст; входной сигнал должен иметь частоту дискретизации 16 кГц. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; доступны веса PyTorch и Flax. Модель предназначена для автоматической транскрибации украинской речи, в том числе для оценки на тестовой выборке Common Voice. В README приведён результат тестирования 32,29 %, однако метрика не уточнена, поэтому это значение нельзя напрямую интерпретировать как точность распознавания. Модель распространяется по лицензии Apache-2.0.

821март 2022
textaudioapache-2.0hugging-face
Akaash1
wav2vec-khmer-english-medium

Akaash1/wav2vec-khmer-english-medium — модель распознавания речи на базе Wav2Vec2, дообученная на facebook/wav2vec2-xls-r-300m на данных OpenSLR и S4E16_Podcast. Она принимает аудио и преобразует речь в текст; в карточке указано значение WER 0,2868 на оценочном наборе. Модель содержит 402,8 млн параметров и использует архитектуру Wav2Vec2ForCTC. Модель подходит для распознавания речи на кхмерском и английском языках, в том числе в подкастах. Распознавание основано на CTC. Распространяется по лицензии Apache-2.0.

1220дек. 2025
textaudioapache-2.0hugging-face
dhasmana
WAXALamh_asr-w2v-bert-2.0

WAXALamh_asr-w2v-bert-2.0 — модель автоматического распознавания речи, дообученная на основе facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2BertForCTC и принимает аудио, чтобы преобразовывать речь в текст. Размер модели — около 402,9 млн параметров; для работы с весами используется библиотека Transformers, файлы представлены в формате safetensors. В карточке приведены метрики оценки: loss 3,8336 и CER 0,3028. Датасет, языки и сценарии обучения не описаны, поэтому применимость к конкретному языку или акустическим условиям по этим данным определить нельзя. Модель распространяется по лицензии MIT.

80июль 2026
textaudiomithugging-face
Xenova
whisper-base

Xenova/whisper-base — вариант модели openai/whisper-base, подготовленный сообществом Xenova в формате ONNX для работы с библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст, включая транскрибацию аудиофайлов или аудио по URL. Ключевая особенность модели — ONNX-веса и совместимость с JavaScript-библиотекой Transformers.js, что позволяет использовать её в веб- и JavaScript-приложениях. В README не указаны точные архитектурные параметры, количество параметров, поддерживаемые языки, модальности и максимальная длина контекста, поэтому эти характеристики нельзя достоверно описать. Отдельный репозиторий с ONNX-весами обозначен как временное решение до более широкого распространения WebML. Модель удобна для интеграции распознавания речи в приложения на JavaScript и сценарии, где требуется запуск через Transformers.js. Ограничения по качеству, производительности и поддерживаемым языкам в README не приведены. Указанная лицензия — Apache-2.0.

63K9май 2023ctx1K
textaudioapache-2.0hugging-face
burakaydinofficial
whisper-base-mla-cv11

Whisper-Base-MLA — модель распознавания речи от burakaydinofficial, созданная на основе OpenAI Whisper Base. В ней декодерное self-attention преобразовано из MHA в MLA, что сокращает KV-кэш декодирования на 62,5%; размер модели — 51,7 млн параметров. Модель дообучена для восстановления качества после преобразования на 11 языках корпуса Whispered и рассчитана на сценарии с ограниченной памятью, где важен размер кэша при генерации и параллельной обработке аудио. Модель предназначена для автоматической транскрипции речи. В README приведены результаты для английского, немецкого и испанского на CommonVoice-17, а также оценки на FLEURS; тесты описаны для записей речи с потребительских микрофонов и фонового шума. Преобразование MLA связано с медианным ухудшением WER примерно на 1 пункт относительно сопоставимого необработанного варианта Whisper Base. Для загрузки требуются transformers версии 4.46.x и trust_remote_code=True; модель несовместима с whisper.cpp, faster-whisper и CTranslate2. Заявленная языковая область ограничена 11 языками обучения, а на невиданных письменностях качество снижается. KV-кэш cross-attention и память энкодера не сжимаются, поэтому экономия общей памяти при одном потоке может быть скромной. Лицензия — Apache-2.0.

141июль 2026ctx1K
textaudioapache-2.0hugging-face
arampacha
whisper-large-uk-2

arampacha/whisper-large-uk-2 — дообученная версия Whisper Large v2 от OpenAI, созданная для распознавания украинской речи. Модель основана на архитектуре Whisper и содержит 905,2 млн параметров; она принимает аудио и выдаёт текстовую транскрипцию. Для дообучения использован Common Voice 11.0, а среди указанных в метаданных датасетов также есть Google FLEURS. В README приведён результат оценки на тестовой выборке: WER 10,0226. Модель подходит для транскрибации украинской речи, в том числе записей и голосовых сообщений. Вес опубликован в формате PyTorch; лицензия — Apache-2.0. Подробности о других ограничениях и условиях оценки в карточке не раскрыты.

488дек. 2022ctx1K
textaudioapache-2.0hugging-face
antony66
whisper-large-v3-russian

antony66/whisper-large-v3-russian — русскоязычная версия Whisper large-v3, дообученная автором репозитория на русской части Common Voice 17.0. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration, примерно 905,2 млн параметров; она принимает аудио и предназначена для автоматического распознавания речи с выдачей текста на русском языке. Модель подходит для транскрибации русской речи, включая записи телефонных разговоров. Автор сообщает о WER 6,39 на собственном тестовом разделении Common Voice после дообучения против 9,84 у исходного Whisper v3. Для телефонных записей рекомендуется предварительно привести аудио к 16 кГц и нормализовать громкость. Модель отмечена как находящаяся в разработке, а автор планирует улучшать её для распознавания телефонной речи. Лицензия в предоставленных данных не указана.

2.5K109май 2024
textaudiohugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей