/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
3 721–3 750 из 4 835
burakaydinofficial
whisper-small-cv11

Whisper-Small-CV11 — мультиязычная модель распознавания речи, созданная Burak Aydın путём дообучения стандартной архитектуры OpenAI Whisper Small на корпусе Whispered. Она содержит 153,1 млн параметров и предназначена для транскрибирования аудиозаписей на 11 языках. Модель работает в Transformers и совместима с обычными инструментами для Whisper; для загрузки не требуется доверять дополнительному коду репозитория. При оценке на CommonVoice 17 модель показала более низкий WER, чем исходная Whisper Small, на 10 из 11 языков; README приводит результаты для английского, немецкого и испанского. Обучение сохраняло замороженным энкодер и использовало 15 000 шагов. Модель подходит для расшифровки записанной речи с бытовых микрофонов, в том числе при фоновом шуме. Модель рассчитана на английский, немецкий, испанский, французский, русский, турецкий, арабский, грузинский, тайский, китайский и валлийский языки. Лицензия — Apache 2.0. По заявлению авторов, дообучение снижает качество для других языков Whisper; грузинский вариант на уровне Whisper Small не пригоден для использования. Качество на дальней речи, телефонном аудио 8 кГц и перекрывающейся речи не оценивалось.

110июль 2026ctx1K
textaudioapache-2.0hugging-face
mkenfenheuer
whisper-small-de

Whisper Small DE — модель распознавания речи, созданная Максимилианом Кенфенхойером путём дообучения openai/whisper-small на датасете Common Voice 17.0. Она предназначена для преобразования немецкой речи в текст. В карточке указана оценка WER 7,5440 на наборе оценки. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. Она принимает аудио и выдаёт текст; библиотека загрузки — Transformers. Распознавание ориентировано на немецкий язык. Модель распространяется по лицензии Apache-2.0.

120янв. 2025ctx1K
textaudioapache-2.0hugging-face
yuriyvnv
whisper-small-mixed-cv-nl

yuriyvnv/whisper-small-mixed-cv-nl — дообученная Yuriyvnv модель OpenAI Whisper Small для распознавания речи на нидерландском языке. Она принимает аудио и генерирует текстовую транскрипцию; модель построена на архитектуре WhisperForConditionalGeneration, содержит 153,1 млн параметров и распространяется в формате safetensors через Transformers. Модель обучена на смеси 34 952 реальных аудиозаписей Common Voice 17.0 и 30 182 синтетических примеров на нидерландском языке, отфильтрованных по качеству выравнивания аудио и текста. В карточке указаны WER 8,73% на валидации и 10,86% на тестовой выборке Common Voice, а также результаты на MLS; эти показатели относятся к описанным наборам и не гарантируют аналогичное качество на других данных. Модель предназначена для транскрибации чистой нидерландской речи общего назначения. Она может хуже работать с технической лексикой, шумным аудио и региональными вариантами нидерландского. Лицензия — Apache-2.0.

240июль 2025ctx1K
textaudioapache-2.0hugging-face
jmshd
whisper-uz

jmshd/whisper-uz — дообученная Jamshid Ahmadov модель Whisper Base для автоматического распознавания речи на узбекском языке. Она принимает аудио и генерирует текстовую расшифровку; при дообучении использованы Common Voice 17.0 и датасет uzbekvoice. В README приведён результат на оценочном наборе: WER 14,0135 и loss 0,1652. Модель построена на архитектуре Whisper, содержит 51,7 млн параметров и распространяется в формате safetensors через Transformers. Лицензия — Apache-2.0.

867дек. 2024ctx1K
textaudioapache-2.0hugging-face
moona3k
mlx-qwen3-asr-1.7b-4bit

moona3k подготовил квантованный вариант Qwen/Qwen3-ASR-1.7B для библиотеки MLX и компьютеров Apple Silicon. Это модель распознавания речи, которая преобразует аудио в текст; через пакет mlx-qwen3-asr она также поддерживает выдачу временных меток слов и работу HTTP-сервера. По данным карточки, модель поддерживает английский, китайский, японский, корейский, немецкий, французский, испанский, русский, арабский и хинди. Текстовый декодер и эмбеддинги квантованы до 4 бит с размером группы 64, аудиоэнкодер — до 8 бит; остальные плавающие тензоры хранятся в float16. Размер загрузки — 1,2 ГБ против 4,4 ГБ у исходной версии в fp16. В тесте на 100 фрагментах LibriSpeech test-clean этот артефакт показал WER 1,73% и CER 0,53%; результаты небольшого теста не гарантируют такого же качества на других языках и аудио. Для загрузки требуется mlx-qwen3-asr версии 0.4.3 или новее. Лицензия — Apache-2.0.

1930сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
moona3k
mlx-qwen3-asr-1.7b-8bit

moona3k подготовил 8-битную квантованную версию Qwen/Qwen3-ASR-1.7B для библиотеки MLX и компьютеров Apple Silicon. Модель предназначена для автоматического распознавания речи и транскрибации аудио; при использовании mlx-qwen3-asr поддерживаются временные метки слов и HTTP-сервер. Архитектура — плотная Qwen3-ASR с аудиоэнкодером и текстовым декодером; линейные слои и эмбеддинги квантованы до 8 бит с размером группы 64, остальные указанные в README тензоры хранятся в float16. Размер загрузки — около 2 ГБ. Модель поддерживает английский, китайский, японский, корейский, немецкий, французский, испанский, русский, арабский и хинди. В описанном тесте на 100 аудиофрагментах LibriSpeech test-clean её гипотезы и показатели WER/CER совпали с версией fp16, однако эти результаты ограничены данным набором и настройками оценки. Для запуска требуется пакет mlx-qwen3-asr версии 0.4.1 или новее; лицензия — Apache-2.0.

4230сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
aomocelin
moonshine_tiny_pt_v05

Moonshine Tiny PT v05 — дообученная модель распознавания речи на базе aomocelin/moonshine_tiny_pt_v04, разработанная автором репозитория. Она принимает аудио и генерирует текстовую транскрипцию; в метаданных указаны архитектура Moonshine и библиотека Transformers. Для модели приведён результат оценки на тестовом наборе: WER 0,2474 и loss 11,9352, однако сведения о наборе данных и условиях оценки отсутствуют. Контекст составляет 194 токена. Модель распространяется по лицензии MIT.

110июль 2026ctx194
textaudiomithugging-face
aufklarer
Omnilingual-ASR-CTC-300M-CoreML-INT8-10s

Omnilingual-ASR-CTC-300M-CoreML-INT8-10s — это экспорт модели Meta Omnilingual ASR CTC-300M в формате CoreML, подготовленный для локального распознавания речи на устройствах Apple. Модель предназначена для автоматической транскрипции аудио на более чем 1600 языках и не требует указания языка при инференсе, что делает её подходящей для многоязычных приложений и сценариев с неизвестным языком входной речи. Модель построена по архитектуре в стиле wav2vec 2.0: энкодер с семислойным свёрточным экстрактором признаков, 24 слоями Transformer и линейной CTC-головой. Она содержит около 326 млн параметров, использует словарь из 10 288 SentencePiece-токенов и принимает моноаудио в виде нормализованной 16-кГц PCM-волны. Выходом являются логиты CTC. Данная сборка рассчитана на фрагменты длительностью до 10 секунд; более длинные записи необходимо разбивать на части или экспортировать модель с другим ограничением длительности. Веса подвергнуты INT8-палетизации методом k-means, при этом вычисления выполняются в FP16. Формат MLProgram поддерживает развёртывание на iOS 17 и macOS 14 с использованием CPU и Apple Neural Engine, что уменьшает размер модели примерно до 312 МБ и подходит для офлайн-инференса на Apple Silicon. Ограничениями являются фиксированная длина входа, необходимость самостоятельного CTC-декодирования и потенциальные ошибки распознавания, зависящие от языка и качества аудио. В README приведены ориентировочные показатели WER для пяти языков; заявленные характеристики скорости для Neural Engine являются ожидаемыми, а не подтверждёнными результатами тестирования этой сборки. Модель распространяется по лицензии Apache 2.0.

3.2K2апр. 2026
textaudioapache-2.0hugging-face
mlx-community
Qwen2-Audio-7B-Instruct-4bit

mlx-community/Qwen2-Audio-7B-Instruct-4bit — 4-битная версия Qwen2-Audio-7B-Instruct, подготовленная сообществом mlx-community для запуска на компьютерах Apple Silicon с помощью MLX и mlx-audio. Это плотная мультимодальная чат-модель с аудиоэнкодером в стиле Whisper из 32 слоёв, линейным проектором и языковой моделью Qwen2-7B. В 4 бита квантована только языковая модель; энкодер и проектор сохранены в bf16. Размер модели — около 4,2 ГБ вместо примерно 15 ГБ у версии bf16. Модель принимает аудио и текстовые инструкции, поддерживает распознавание и перевод речи, создание текстовых описаний аудио, анализ эмоций и тональности, классификацию окружающих звуков, понимание музыки и голосовой чат. В README указана скорость генерации около 4,7 токена в секунду на устройствах Apple Silicon серии M; качество транскрипции, по заявлению авторов карточки, соответствует версии на Hugging Face. Модель распространяется по лицензии Apache-2.0.

1.8K3март 2026ctx8.2K
textaudioapache-2.0hugging-face
vrfai
Qwen3-ASR-1.7B-fp8

Это FP8-квантизированная версия Qwen3-ASR-1.7B, подготовленная vrfai с помощью NVIDIA ModelOpt для развёртывания через vLLM. Модель предназначена для распознавания речи и транскрибации аудио; базовая модель поддерживает потоковую обработку. В архитектуре Qwen3ASRForConditionalGeneration около 1,7 млрд параметров: языковая часть размером примерно 1,4 млрд параметров квантизирована в FP8, а audio_tower и lm_head оставлены в BF16. По данным README, на тесте из 760 образцов VIVOS частота ошибок слов составила 7,60% против 7,34% у версии BF16; сходство выходов LLM с BF16 на 50 образцах — 0,994. Замеры также показывают более высокую пропускную способность FP8 на указанном оборудовании и уровнях конкурентности. Репозиторий распространяется по лицензии Apache-2.0.

5.0K6март 2026ctx131.1K
textaudioapache-2.0hugging-face
vumichien
wav2vec2-large-xlsr-japanese-hiragana

vumichien/wav2vec2-large-xlsr-japanese-hiragana — модель распознавания японской речи, дообученная автором на основе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Для обучения применялись данные Common Voice и японский речевой корпус лаборатории Саруватари Токийского университета (JSUT). Модель преобразует японскую речь в текст и рассчитана на входное аудио с частотой дискретизации 16 кГц. В оценке на японской тестовой выборке Common Voice указаны WER 24,74% и CER 10,99%. Репозиторий содержит веса PyTorch и Safetensors; лицензия — Apache-2.0.

89K11март 2022
textaudioapache-2.0hugging-face
bofenghuang
whisper-large-v2-cv11-german

Модель bofenghuang/whisper-large-v2-cv11-german — дообученная версия Whisper Large v2, созданная для распознавания немецкой речи. Её обучили на немецкой части набора Mozilla Common Voice 11.0; модель построена на архитектуре Whisper и содержит около 905,2 млн параметров. Модель преобразует аудио в текст, включая регистр букв и пунктуацию. Для входной речи требуется частота дискретизации 16 кГц. В карточке для Common Voice 11.0 указана оценка WER 5,76; результат получен на этом наборе и не гарантирует такую же точность на других данных. Модель распространяется по лицензии Apache-2.0.

1617дек. 2022ctx1K
textaudioapache-2.0hugging-face
vumichien
whisper-large-v2-jp

vumichien/whisper-large-v2-jp — дообученная модель распознавания речи на основе Whisper large-v2 от OpenAI. Она обучена на японской части набора Mozilla Common Voice 11.0 и предназначена для преобразования японской речи в текст. Архитектура WhisperForConditionalGeneration содержит около 905,2 млн параметров; модель принимает аудио и выдаёт текст. В README приведены результаты оценки на тестовой выборке: WER 8,1166 и CER 5,0032. Модель опубликована под лицензией Apache-2.0.

2011дек. 2022ctx1K
textaudioapache-2.0hugging-face
marianbasti
whisper-large-v3-turbo-latam

marianbasti/whisper-large-v3-turbo-latam — дообученная marianbasti на испанской части Mozilla Common Voice 17.0 версия Whisper large-v3-turbo. Модель предназначена для автоматической транскрибации испанской речи, с акцентом на латиноамериканские варианты и аудио низкого качества; при обучении исключили испанские акценты Испании. Для обучения вычислительные ресурсы предоставил CITECCA Национального университета Рио-Негро. Модель использует архитектуру WhisperForConditionalGeneration, содержит 905,2 млн параметров и работает с аудио на входе, выдавая текст. Базовая Whisper large-v3-turbo ускорена за счёт сокращения числа декодирующих слоёв с 32 до 4, что повышает скорость при небольшом снижении качества. Модель поддерживается библиотекой Transformers; лицензия — MIT. Для аудио длиннее 30 секунд требуется обработка последовательными или перекрывающимися сегментами. Качество распознавания может зависеть от акцента, шума и конкретной области применения. Перед развёртыванием рекомендуется оценить модель на целевых данных; она не предназначена для субъективной классификации людей или решений в высокорисковых сценариях.

2.8K8май 2025
textaudiomithugging-face
arbml
whisper-medium-ar

arbml/whisper-medium-ar — дообученная версия openai/whisper-medium для автоматического распознавания речи. Модель на архитектуре Whisper содержит 455,8 млн параметров и принимает аудио, выдавая текстовую расшифровку. В карточке указано дообучение на датасете MGB-2; на оценочной выборке приведены loss 0,8488 и WER 16,5882. Модель предназначена для преобразования речи в текст. В названии указано «ar», а датасет MGB-2 связан с арабской речью; метаданные не содержат кодов языков. Репозиторий использует формат PyTorch и распространяется по лицензии Apache-2.0.

314дек. 2022ctx1K
textaudioapache-2.0hugging-face
mlx-community
whisper-small-4bit

mlx-community/whisper-small-4bit — версия Whisper Small, подготовленная mlx-community для запуска в формате MLX и с 4-битным представлением весов. Репозиторий создан конвертацией openai/whisper-small с помощью mlx-audio-plus версии 0.1.4; модель предназначена для распознавания речи и транскрибирования аудио. Whisper Small — мультиязычная модель OpenAI, способная также переводить аудио на английский язык. Модель принимает аудио и выдаёт текст. Она распространяется по лицензии Apache-2.0 и рассчитана на запуск через библиотеку mlx-audio-plus. Доступные сведения не описывают точность на конкретных языках или типах записей; результат может зависеть от качества аудио и условий записи.

1550дек. 2025
textaudioapache-2.0hugging-face
bofenghuang
whisper-small-cv11-german

bofenghuang/whisper-small-cv11-german — версия Whisper small, дообученная для распознавания немецкой речи на немецкой части набора Common Voice 11.0. Модель разработана на основе openai/whisper-small и использует архитектуру Whisper с 153,1 млн параметров; для распознавания аудио требуется частота дискретизации 16 кГц. Модель преобразует немецкую речь в текст, включая регистр букв и пунктуацию. В карточке приведён WER 11,35 на Common Voice 11.0. Она подходит для транскрибации немецких голосовых записей и аудио, записанного в условиях, близких к данным обучения. Распространяется по лицензии Apache-2.0.

899дек. 2022ctx1K
textaudioapache-2.0hugging-face
Audio8
ark-asr-0.6b-int8-onnx

ARK-ASR-0.6B INT8 ONNX — пакет для локального распознавания речи, подготовленный разработчиками ARK-ASR на основе модели AutoArk-AI/ARK-ASR-0.6B. Он предназначен для запуска ASR через ONNX Runtime на локальных компьютерах и периферийных устройствах, когда важен компактный формат инференса. Модель имеет плотную архитектуру ArkasrForConditionalGeneration, содержит около 504,7 млн параметров и использует 32 768 токенов контекста. Пакет включает INT8 ONNX-компоненты декодера, аудиоэнкодера и аудиоадаптера, а также FP32-эмбеддинги и необходимые файлы токенизатора и процессора. Входное аудио обрабатывается с частотой 16 кГц; модель распознаёт китайскую, английскую, немецкую, японскую, французскую, корейскую, испанскую, польскую, итальянскую, румынскую, венгерскую, чешскую, нидерландскую, финскую, хорватскую, словацкую, словенскую, эстонскую и литовскую речь и выдаёт текст. Квантованный ONNX-пакет рассчитан на компактный локальный инференс; лицензия — Apache-2.0.

5425июнь 2026ctx32.8K
textapache-2.0hugging-face
cstr
canary-1b-v2-GGUF

Canary 1B v2 GGUF — мультиязычная модель NVIDIA для автоматического распознавания речи и перевода речи, преобразованная в формат GGUF проектом CrispStrobe/CrispASR. Модель содержит около 978 млн параметров и предназначена для работы с runtime canary-main. Она поддерживает 25 европейских языков, включая русский, английский, немецкий, французский, испанский, украинский и польский. Язык источника и язык результата задаются явными токенами, что снижает риск ошибок автоматического определения языка. Архитектура включает 32-слойный аудиоэнкодер FastConformer и 8-слойный Transformer-декодер с механизмами self-attention и cross-attention. Модель принимает монофонический звук 16 кГц, использует 128 мел-фильтров и словарь SentencePiece на 16 384 токена; максимальный контекст декодера — 1024 токена. При совпадении языков выполняется распознавание речи, а при различии — перевод. Поддерживаются переводы между английским и 24 другими языками в обоих направлениях. Заявленная средняя ошибка распознавания на английском составляет 7,15% по Open ASR Leaderboard. Сильные стороны модели — мультиязычность, явное указание языков, поддержка распознавания и speech translation, а также несколько вариантов квантования: от F16 до Q4_K, рекомендованного для экономии памяти. Ограничения включают необходимость использования совместимого runtime canary-main, обязательный выбор исходного и целевого языков и отсутствие в описании сведений о встроенной сегментации или временных метках. Модель распространяется по лицензии CC-BY-4.0.

2.5K2апр. 2026
textaudiocc-by-4.0hugging-face
danieleV9H
hubert-base-libri-clean-ft100h-v3

danieleV9H/hubert-base-libri-clean-ft100h-v3 — англоязычная модель распознавания речи, созданная дообучением facebook/hubert-base-ls960 на наборе LibriSpeech ASR. Она принимает аудио и выдаёт текстовую расшифровку; архитектура — HuBERT с CTC-головой, размер — 113,3 млн параметров. На указанном в карточке наборе оценки модель достигла WER 0,1332 и loss 0,1120. Модель подходит для транскрибации английской речи, особенно аудиокниг и записей, похожих на LibriSpeech. Доступна под лицензией Apache-2.0.

2730май 2022
textaudioapache-2.0hugging-face
Jonathan1909
Ming-flash-omni-2.0

Ming-flash-omni 2.0 — мультимодальная модель семейства Ling-2.0 от InclusionAI с архитектурой Mixture-of-Experts: 100 млрд параметров суммарно и 6 млрд активных. Она принимает изображения, текст, видео и аудио, а генерирует текст, изображения и аудио; в метаданных также заявлен интерфейс для вызова инструментов. Модель предназначена для диалога и задач, где нужно переключаться между модальностями: анализа изображений и видео, распознавания речи, синтеза речи и музыки, генерации и редактирования изображений. В README отдельно отмечены распознавание растений, животных и культурных объектов, клонирование голоса с нулевым примером и управление характеристиками звучания, а также удаление объектов и композиция сцен. В README заявлены потоковый видеодиалог, распознавание речи, включая диалектную речь, и генерация изображений с управлением. Метаданные указывают английский язык. Модель опубликована по лицензии MIT. Заявления о лидерстве в бенчмарках и качестве приведены авторами модели; независимые результаты в предоставленных данных отсутствуют.

1.3K1март 2026
textmithugging-face
BuzzASR
uzbek

BuzzASR/uzbek — одноязычная модель автоматического распознавания речи на узбекском языке, разработанная как часть набора BuzzASR. Она дообучена методом простого ASR fine-tuning на openai/whisper-large-v3 с исходным токенизатором Whisper. Модель содержит около 905,2 млн параметров и принимает аудио, выдавая текстовую транскрипцию; в конфигурации генерации уже задан языковой и задачный prompt. Модель предназначена для транскрибации узбекской речи. В тестах FLEURS и Common Voice Corpus 25.0 авторы сообщают CER 6,6% и 2,68% соответственно, а на объединённом наборе — CER 3,86% и WER 16,0%. По заявлению авторов, результаты на объединённом тесте превосходят сравниваемые открытые системы; качество на других данных может отличаться. Модель распространяется по лицензии MIT.

2730сент. 2026
textaudiomithugging-face
aware-ai
wav2vec2-large-xlsr-53-german-with-lm

aware-ai/wav2vec2-large-xlsr-53-german-with-lm — акустическая модель распознавания речи на базе Wav2Vec2 XLSR-53, дополненная языковой моделью KenLM. Она предназначена для преобразования немецкой речи в текст; в карточке приведена оценка на тестовой части Common Voice: WER около 5,75% и CER около 1,90%. Архитектура модели — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст на немецком языке. В README указано, что акустическая часть скопирована с модели jonatasgrosman и для неё обучена соответствующая языковая модель KenLM. Файлы доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

217март 2022
textaudioapache-2.0hugging-face
anton-l
wav2vec2-large-xlsr-53-romanian

anton-l/wav2vec2-large-xlsr-53-romanian — модель распознавания речи на базе facebook/wav2vec2-large-xlsr-53, дообученная на румынском языке разработчиком anton-l с использованием Common Voice. Она преобразует аудиоречь в текст и подходит для транскрибирования записей на румынском языке. Архитектура — Wav2Vec2ForCTC с 402,7 млн параметров; доступны веса PyTorch и Flax. Для входной речи требуется частота дискретизации 16 кГц. Модель рассчитана на автоматическое распознавание румынской речи; в карточке приведён результат оценки 24,84% на тестовой части Common Voice, но не уточнена метрика. Распространяется по лицензии Apache-2.0.

4894март 2022
textaudioapache-2.0hugging-face
UrukHan
wav2vec2-russian

UrukHan/wav2vec2-russian — модель распознавания речи на основе архитектуры Wav2Vec2, опубликованная разработчиком UrukHan. Она принимает аудио в формате WAV и преобразует речь в текст с помощью распознавания на основе CTC. В README рекомендовано дополнительно обрабатывать результат моделью UrukHan/t5-russian-spell, которая исправляет ошибки распознавания, расставляет знаки препинания и приводит цифры в порядок. Модель содержит 402,7 млн параметров и распространяется в форматах PyTorch и safetensors. Карточка не сообщает точные характеристики аудиовхода и показатели качества, поэтому пригодность для конкретных условий записи следует оценивать отдельно. Условия лицензии в доступных данных не описаны.

2269март 2022
textaudiohugging-face
dbdmg
wav2vec2-xls-r-300m-italian

dbdmg/wav2vec2-xls-r-300m-italian — модель распознавания речи, созданная путём дообучения facebook/wav2vec2-xls-r-300m на итальянской части набора Common Voice 7.0. Она принимает аудио и преобразует речь в текст на итальянском языке. В README приведён WER 0,1710 на наборе оценки; также указано значение Loss: inf, поэтому результаты обучения следует интерпретировать с осторожностью. Модель построена на архитектуре Wav2Vec2 с CTC-декодером и содержит около 402,8 млн параметров. Распространяется по лицензии Apache-2.0.

193K3март 2022
textaudioapache-2.0hugging-face
burakaydinofficial
whisper-base-cv11

burakaydinofficial/whisper-base-cv11 — это мультиязычная модель распознавания речи, созданная дообучением стандартной архитектуры OpenAI Whisper Base на корпусе Whispered с лицензией CC0. Модель содержит 51,7 млн параметров и предназначена для преобразования речи в аудио в текст; она работает через библиотеку Transformers без пользовательского кода. Модель служит контрольной точкой для сравнения с вариантом whisper-base-mla-cv11, в котором изменена архитектура внимания. В карточке приведены результаты оценки на CommonVoice-17 для английского, немецкого и испанского языков; обучение проводилось на данных для чтения речи, энкодер был заморожен. Поддерживаются английский, немецкий, испанский, французский, русский, турецкий, валлийский, арабский, грузинский, тайский и китайский языки. Контекстная длина в доступных данных не указана. Модель распространяется по лицензии Apache-2.0. Результаты могут немного отличаться при повторной оценке: в карточке отмечено, что контрольная финальная контрольная точка отличается от контрольной точки, выбранной по dev-набору.

90июль 2026ctx1K
textaudioapache-2.0hugging-face
oxide-lab
whisper-base-GGUF

oxide-lab/whisper-base-GGUF — набор квантованных моделей на основе openai/whisper-base, подготовленный в формате GGUF. Модель предназначена для автоматического распознавания речи и поддерживает многоязычные сценарии, включая английский и русский языки. Доступны варианты квантования от q2_k до q8_0. Модели в корневом каталоге совместимы с ML-фреймворком Candle для Rust, а варианты в подкаталоге whisper.cpp — с реализацией whisper.cpp и её CLI-инструментами. Формат GGUF позволяет уменьшить размер модели и ускорить инференс, однако низкие уровни квантования, особенно q2, q3 и q4, могут существенно снижать качество распознавания. В README отдельно отмечены q4_k как компромисс между размером, скоростью и качеством, а q8_0 — как рекомендуемый вариант для производственного использования с минимальными потерями. Модель подходит для локального распознавания аудиофайлов и интеграции в приложения на Rust или C++. Ограничения включают зависимость от выбранного уровня квантования и необходимость использовать совместимые файлы конфигурации и токенизатора для Candle либо правильную версию файлов из каталога whisper.cpp. Указана лицензия MIT, совпадающая с лицензией исходной модели Whisper.

1.4K0янв. 2026
textaudiomithugging-face
jonatasgrosman
whisper-large-pt-cv11

jonatasgrosman/whisper-large-pt-cv11 — модель автоматического распознавания речи, созданная Jonatas Grosman на основе openai/whisper-large-v2 и дообученная на португальском языке на обучающей и части валидационной выборок Common Voice 11. Она преобразует португальскую речь в текст и подходит для расшифровки записей и аудио с естественной речью. Модель использует архитектуру Whisper Large с 905,2 млн параметров. В README приведены оценки на тестовых выборках Common Voice 11 и Fleurs; результаты зависят от нормализации регистра и пунктуации, а в Fleurs также от различий в записи чисел. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

2915дек. 2022ctx1K
textaudioapache-2.0hugging-face
RedHatAI
whisper-large-v3-FP8-dynamic

RedHatAI/whisper-large-v3-FP8-dynamic — это квантизированная версия модели openai/whisper-large-v3, разработанная Neural Magic. Модель преобразует аудио в текст и предназначена для автоматической транскрипции речи, включая пакетную обработку и высокопроизводительное серверное развертывание. Модель использует архитектуру whisper-large-v3 с аудиотекстовым входом и текстовым выходом. Веса и активации квантизированы в FP8 с динамическим масштабированием; квантизация выполнена для линейных слоёв, а выходной lm_head исключён. Модель подготовлена для инференса через vLLM версии 0.5.2 и выше, включая OpenAI-совместимый режим сервинга. В примере развертывания используются до 400 последовательностей и максимальная длина модели 448 токенов. По данным оценки на LibriSpeech и Fleurs, FP8-версия сохраняет качество исходной BF16-модели: WER составляет 2,097 на LibriSpeech test-clean и 3,9617 на test-other; на отдельных наборах Fleurs проверялась транскрипция китайского, английского и кантонского аудио в английский текст. Ограничения включают зависимость от совместимого стека vLLM и отсутствие в README подробностей о полном наборе поддерживаемых языков, требованиях к оборудованию и качестве на других типах аудио. Лицензия — Apache 2.0.

73K5апр. 2025
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей