/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
3 181–3 210 из 4 835
moonshine-ai
moonshine-streaming-tiny-ja

Moonshine Streaming Tiny — Japanese — модель распознавания японской речи с потоковой транскрипцией, разработанная Moonshine AI. Она предназначена для инкрементальной расшифровки аудио на устройствах с ограниченными ресурсами: модель выдаёт текст по мере поступления речи, используя аудиофронтенд 50 Гц и Transformer-кодировщик со скользящими окнами. Архитектура включает кодировщик и декодер по 6 слоёв шириной 320 с 8 головами внимания; в README указано 27 млн параметров, а метаданные каталога сообщают 13,8 млн. Модель обучена для японского языка на автоматически размеченных аудиозаписях подкастов и YouTube, а также на смеси записанной речи, включающей Common Voice Japanese. На тестах FLEURS и ReazonSpeech показаны значения CER без учёта пробелов; качество заметно ниже на коротких спонтанных высказываниях. Обучающие транскрипты в основном созданы моделью-учителем Whisper, поэтому возможны ошибки в именах, числах и переключении языков. Лицензия — MIT.

1212авг. 2026ctx4.1K
textaudiomithugging-face
aufklarer
Nemotron-3.5-ASR-Streaming-0.6B-MLX-4bit

Это 4-битная MLX-конверсия потоковой модели распознавания речи Nemotron-3.5 ASR Streaming от NVIDIA, подготовленная aufklarer для Apple Silicon. Модель содержит около 600 млн параметров и использует архитектуру FastConformer-CacheAware-RNN-T с языковым промптом. Она принимает аудио и выдаёт текстовую расшифровку в потоковом режиме; в карточке указана поддержка 40 языков, а метаданные перечисляют английский, испанский, немецкий, французский, итальянский, португальский, русский, хинди, китайский, японский, корейский и арабский. Квантизация до 4 бит уменьшает размер весов до 473 МБ и пиковое потребление памяти примерно до 750 МБ. В тестах на Apple Silicon M5 Pro модель показала задержку обработки чанка 12,8 мс на медиане и 15,6 мс на 99-м перцентиле. По данным карточки, средняя ошибка распознавания возрастает примерно на 6 процентных пунктов относительно исходной версии fp32; особенно заметно это для хинди и американского английского. Автор рекомендует вариант для локальных ассистентов и предварительных расшифровок, когда допустима потеря точности. Условия лицензии обозначены как other; конкретные права использования следует проверить в лицензии репозитория.

764июнь 2026
textaudiootherhugging-face
FluidInference
parakeet-tdt-0.6b-v2-coreml

Parakeet TDT 0.6B V2 CoreML — модель автоматического распознавания речи, разработанная командой FluidInference на основе Parakeet TDT 0.6B V2 от NVIDIA. Она преобразована в формат CoreML для высокопроизводительного локального вывода на устройствах Apple, включая Apple Silicon и iOS. Модель предназначена для транскрибирования англоязычной речи в реальном времени и интеграции в приложения на macOS и iOS. Она использует архитектуру FastConformer-TDT, содержит около 0,6 млрд параметров, принимает аудио с частотой дискретизации 16 кГц и поддерживает английский язык. Заявлены macOS 14+, iOS 17+ и интеграция со Swift через репозиторий FluidAudio. К сильным сторонам относятся оптимизация для устройств Apple, возможность выполнения распознавания непосредственно на устройстве, высокая заявленная скорость работы — коэффициент реального времени около 110× на M4 Pro — и относительно небольшой пиковый объём памяти около 800 МБ. Ограничения включают поддержку только английского языка, зависимость от платформ Apple и отсутствие в README подробных сведений о точности, устойчивости к шуму и поддерживаемых вариантах входного аудио. Модель распространяется по лицензии CC-BY-4.0.

12K11июль 2025
textaudiocc-by-4.0hugging-face
MarkChen1214
parakeet-tdt-0.6b-v3-MLX-Mixed-4bit8bit

Это многоязычная модель распознавания речи NVIDIA Parakeet-TDT-0.6B-v3, подготовленная в формате MLX с квантованием смешанной точности Q4/Q8 и сохранённая в safetensors. Вариант создан на основе проверенного чекпойнта mlx-community/parakeet-tdt-0.6b-v3 и предназначен для транскрибации аудио на Apple Silicon с использованием MLX и совместимого загрузчика parakeet_unified_mlx.py. Веса занимают 0,401 ГБ: матрицы энкодера используют Q4, а точечные свёртки и компоненты предиктора и joint — Q8; часть тензоров хранится в BF16. Исходная модель поддерживает 25 европейских языков. В полной оценке на FLEURS для немецкого, французского, нидерландского, шведского, датского и финского языков получен макро-WER 11,17%; качество сопоставимо с контрольным вариантом INT4, а объём весов меньше. Лицензия — CC-BY-4.0. Модель работает в офлайн-режиме с полным контекстом и жадным декодированием; потоковая обработка не заявлена. Результаты могут меняться в зависимости от акцента, предметной области, шума и условий записи. Для целевого аудиораспределения нужна отдельная оценка; текущие подробные тесты охватывают только шесть из 25 языков.

210июль 2026
textaudiocc-by-4.0hugging-face
MarkChen1214
parakeet-unified-en-0.6b-MLX-Mixed-3bit4bit6bit

Это англоязычная модель распознавания речи Parakeet Unified 0.6B, представленная MarkChen1214 в смешанном 3-, 4- и 6-битном варианте для MLX. Она основана на FastConformer-RNNT от NVIDIA и предназначена для локальной транскрибации аудио. Квантование с группами по 64 веса уменьшает размер весов до 0,352 ГБ; на тестах LibriSpeech и FLEURS модель показала макро-WER 2,78% против 2,66% у полноточного учителя. Модель принимает аудио и выдаёт текст на английском. Замеры качества проведены для офлайн-инференса с полным контекстом; потоковую задержку и качество потокового режима автор не заявляет, хотя исходная архитектура поддерживает потоковую обработку. Результаты могут меняться в зависимости от акцента, предметной области, шума и условий записи. Для загрузки требуется совместимый MLX runtime и указанный в README загрузчик. Лицензия в метаданных обозначена как other; конкретные условия следует сверять с карточкой репозитория и лицензией исходной модели.

120июль 2026
textaudiootherhugging-face
vinai
PhoWhisper-tiny

PhoWhisper-tiny — модель распознавания вьетнамской речи, разработанная Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Это версия семейства PhoWhisper, созданная дообучением многоязычной Whisper на 844-часовом наборе данных с различными вьетнамскими акцентами. Модель предназначена для автоматической транскрибации вьетнамской речи. В исследовании авторов PhoWhisper показала высокие результаты на тестовых наборах для распознавания вьетнамской речи. Вариант tiny содержит 29,4 млн параметров и использует архитектуру Whisper; репозиторий содержит веса PyTorch. Лицензия — BSD 3-Clause. Авторы просят цитировать статью PhoWhisper при публикации результатов или включении модели в программное обеспечение.

3.5K17февр. 2024ctx1K
textaudiobsd-3-clausehugging-face
knoveleng
polyglot-lion-1.7b-v1.5

Polyglot-Lion-1.7B — модель распознавания речи, разработанная Quy-Anh Dang и Chris Ngo из Knovel Engineering. Она получена дообучением Qwen3-ASR-1.7B на общедоступных речевых корпусах четырёх официальных языков Сингапура: английском, китайском мандаринском, тамильском и малайском. Сбалансированная выборка уравнивает число обучающих высказываний по языкам, а модель учится определять язык по аудио без языковых меток в запросе. Модель предназначена для транскрибации речи, в том числе аудио на сингапурских вариантах этих языков. В версии 1.5 обучение повторено без удаления пунктуации, чтобы улучшить распознавание пауз и границ предложений. В карточке сообщается средняя ошибка 14,85 на приведённых тестах; результаты зависят от языка и набора данных. Для работы используется пакет qwen-asr; упомянуты сценарии пакетной обработки, временных меток, потоковой обработки и развёртывания сервера. Модель содержит 1,7 млрд параметров, использует плотную архитектуру Qwen3-ASR и распространяется в формате safetensors. Лицензия — MIT. Она специализирована на четырёх указанных языках и может уступать моделям, обученным на более широком наборе языков или иных речевых доменах; приведённые метрики не гарантируют качество на произвольных записях.

3310май 2026ctx131.1K
textaudiomithugging-face
artop79
rubaistt-uz-ft

artop79/rubaistt-uz-ft — дообученная модель на архитектуре Whisper Medium для автоматического распознавания речи. Она принимает аудио и преобразует узбекскую речь в текст; базовая модель ориентирована на транскрибирование узбекского языка с особым вниманием к ташкентскому диалекту. Модель содержит 455,8 млн параметров и распространяется в формате safetensors для Transformers. Модель подходит для транскрибирования записей и аудиопотоков на узбекском языке. В README приведены результаты на наборе оценки: loss 0,0290 и WER 1,4771; описание датасета и условий оценки отсутствует, поэтому эти показатели трудно интерпретировать. Лицензия — Apache-2.0.

80июнь 2026ctx1K
textaudioapache-2.0hugging-face
adi-gov-tw
Taiwan-Tongues-ASR-CE-pretrained-v1.0

Taiwan-Tongues-ASR-CE-pretrained-v1.0 — модель распознавания речи, выпущенная проектом Taiwan-Tongues-ASR-CE. Это дообученная версия OpenAI Whisper large-v2 с архитектурой WhisperForConditionalGeneration и примерно 905,2 млн параметров. Весовой формат — Safetensors для Transformers; модель предназначена для дальнейшего дообучения на многоязычных речевых корпусах Тайваня. Для готового распознавания без дополнительного обучения авторы предлагают отдельную модель проекта в формате CTranslate2 для faster-whisper. Модель рассчитана на автоматическую транскрибацию речи, в том числе на китайском, тайваньском хоккиене, хакка и английском. В README приведены языковые коды zh, nan, hak и en для настройки обучения; метаданные карточки также указывают zh и en. Архитектура принимает аудио и генерирует текстовую расшифровку. Лицензия обозначена как other; README отсылает к условиям лицензии проекта Taiwan-Tongues-ASR-CE, не уточняя их содержание.

1475окт. 2025ctx1K
textaudiootherhugging-face
schift-io
vibevoice7b-schift-quanted-mixed

Это независимая экспериментальная сборка потоковой модели распознавания речи VibeVoice-ASR-Streaming-7B, подготовленная schift-io на основе чекпойнта Microsoft. В ней декодер Qwen2 и выходной слой смешанно квантованы в GGUF примерно до 6 ГБ; акустический и семантический токенизаторы и соединительные слои сохранены в bf16. Полная сборка занимает около 8,4 ГБ и включает компоненты для запуска без отдельной загрузки исходных весов. Модель предназначена для потоковой транскрипции аудио с разметкой говорящих, в том числе в многоязычных разговорных сценариях. В README приведена проверка на 20 фрагментах корейских дискуссий: качество транскрипции и совместная метрика транскрипции с диаризацией оказались близки к исходному bf16-чекпойнту. Испытание небольшое, поэтому результаты не гарантируют качество на других данных. Для диаризации унаследовано ограничение исходной модели: в половине проверенных фрагментов она неверно определяла число говорящих, что заметно ухудшало результат. Сборка является независимым экспериментом и официально Microsoft не поддерживается. Лицензия — MIT.

471сент. 2026ctx131.1K
textaudiomithugging-face
sulaimank
w2vbert-lingala-sd3

w2vbert-lingala-sd3 — модель автоматического распознавания речи, разработанная как дообученная версия sulaimank/w2vbert-lingala-waxal-punct-v2. Она построена на архитектуре Wav2Vec2-BERT с CTC-выходом, содержит 402,8 млн параметров и принимает аудио, выдавая распознанный текст. По названию и базовой модели предназначена для распознавания речи на языке лингала; README приводит метрики оценки, включая WER 0,1038 с сохранением пунктуации и 0,0530 после её удаления. Модель подходит для транскрибации аудиозаписей на лингала. Данных о контекстном окне, составе обучающего набора, лицензии и конкретных ограничениях в предоставленных источниках нет.

230авг. 2026
textaudiohugging-face
infinitejoy
wav2vec2-large-xls-r-300m-marathi-cv8

Модель infinitejoy/wav2vec2-large-xls-r-300m-marathi-cv8 — версия wav2vec2-XLS-R-300M, дообученная разработчиком на наборе Mozilla Common Voice 8.0 для распознавания речи на маратхи. Она принимает аудио и преобразует речь в текст; архитектура реализована как Wav2Vec2ForCTC. В репозитории указано 402,7 млн параметров. Модель предназначена для автоматической транскрибации аудиозаписей на маратхи, например записей речи и голосовых сообщений. На оценочном наборе Common Voice 8.0 для маратхи указаны loss 0,6483 и WER 0,6049; последнее значение указывает на заметное число ошибок распознавания. Распространяется по лицензии Apache-2.0.

4031март 2022
textaudioapache-2.0hugging-face
cstr
wav2vec2-large-xlsr-53-japanese-GGUF

cstr/wav2vec2-large-xlsr-53-japanese-GGUF — это GGUF-конверсия и набор квантизированных вариантов модели jonatasgrosman/wav2vec2-large-xlsr-53-japanese, подготовленные для использования с CrispASR. Модель предназначена для автоматического распознавания японской речи и транскрибации аудиозаписей. В основе лежит архитектура Wav2Vec2ForCTC с размером скрытого состояния 1024, 16 головами внимания, 24 трансформерными слоями и CTC-словарём из 2341 токена. Поддерживается японский язык и аудиомодальность; текстовый ввод и генерация произвольного текста не заявлены. Доступны варианты F16 размером около 635 МБ, Q8_0 около 365 МБ и Q4_K около 221 МБ, причём Q4_K указан как целевой вариант для автоматической загрузки. Квантизация уменьшает требования к памяти, тогда как F16 и Q8_0 сохраняют более высокую числовую точность. Модель подходит для локального распознавания японской речи через CrispASR, включая транскрибацию аудиофайлов. Ограничения, точность на различных типах аудио, поддерживаемые форматы и требования к аппаратному обеспечению в карточке не указаны. Репозиторий содержит только конверсию формата и квантизацию исходных весов, без обучения, дообучения или изменения архитектуры и словаря. Лицензия Apache-2.0, такая же, как у исходной модели. Разработчиком исходной модели указан jonatasgrosman; данный репозиторий распространяет её преобразованные и квантизированные версии и не заявляет о создании новой модели.

1.6K0май 2026
textaudioapache-2.0hugging-face
aismlv
wav2vec2-large-xlsr-kazakh

aismlv/wav2vec2-large-xlsr-kazakh — модель распознавания казахской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на обучающей части Kazakh Speech Corpus v1.1. Она построена на архитектуре Wav2Vec2 с CTC-выходом и содержит 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на казахском языке в текст. Для работы входную речь следует подавать с частотой дискретизации 16 кГц; распознавание возможно без отдельной языковой модели. В README указан результат оценки 19,65% на тестовом наборе Kazakh Speech Corpus v1.1, но метрика не уточнена. Модель распространяется по лицензии Apache-2.0. Она специализирована на казахской речи; качество на других языках и аудио с иными характеристиками в предоставленных материалах не описано.

169K21март 2022
textaudioapache-2.0hugging-face
lgris
wav2vec2-large-xlsr-open-brazilian-portuguese

Модель lgris/wav2vec2-large-xlsr-open-brazilian-portuguese — дообученная версия Wav2Vec 2.0 Large XLSR для распознавания речи на бразильском варианте португальского языка. Она преобразует аудиозаписи в текст и предназначена для транскрибации речи, включая записи, похожие на обучающие данные: чтение предложений и аудиокниг, а также добровольческие записи. Модель содержит 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. Для обучения объединили данные CETUC, Multilingual LibriSpeech, VoxForge, Common Voice 6.1 и Lapsbm; исходную модель дообучили в fairseq, а представленный репозиторий содержит конвертированную версию. В README приведены результаты с ошибкой распознавания 12,90% на тесте Common Voice и 35,22% на TEDx, что указывает на заметное снижение качества на речи вне обучающего домена. Модель распространяется по лицензии Apache-2.0. Она ориентирована на португальскую речь Бразилии; результаты на иных языках, акцентах и условиях записи не подтверждены приведёнными данными.

69010март 2022
textaudioapache-2.0hugging-face
AndrewMcDowell
wav2vec2-xls-r-1b-arabic

AndrewMcDowell/wav2vec2-xls-r-1b-arabic — модель распознавания арабской речи, дообученная на базе facebook/wav2vec2-xls-r-1b на арабской части набора Mozilla Common Voice 8.0. Это плотная архитектура wav2vec2 с головой CTC, содержащая 1,3 млрд параметров и распространяемая в формате PyTorch. Модель принимает аудио и предназначена для преобразования арабской речи в текст. В карточке указаны результаты оценки на тестовой выборке: loss 1,1373 и WER 0,8607; высокий WER указывает на существенные ошибки распознавания. Лицензия — Apache-2.0.

331март 2022
textaudioapache-2.0hugging-face
AndrewMcDowell
wav2vec2-xls-r-1b-japanese-hiragana-katakana

AndrewMcDowell/wav2vec2-xls-r-1b-japanese-hiragana-katakana — модель распознавания японской речи, созданная дообучением facebook/wav2vec2-xls-r-1b на японской части набора Mozilla Common Voice 8.0. Это плотная модель Wav2Vec2ForCTC с 1,3 млрд параметров, принимающая аудио и выдающая текст; карточка указывает японский язык и библиотеку Transformers с весами PyTorch. Модель предназначена для автоматической транскрипции японской речи. В README приведены результаты на тестовой выборке: WER 1,0132 и CER 0,1609. Указана лицензия Apache-2.0. Оценка WER выше 1 означает существенные ошибки распознавания, поэтому качество следует проверять на данных целевого сценария.

2353март 2022
textaudioapache-2.0hugging-face
GoranS
whisper-base-1m.hr

GoranS/whisper-base-1m.hr — дообученная модель распознавания речи на основе OpenAI Whisper Base. Она предназначена для преобразования аудио в текст; языковой код карточки — hr, то есть хорватский. Модель содержит 51,7 млн параметров, использует архитектуру Whisper и доступна в формате safetensors через Transformers. В README приведены результаты оценки: loss 0,2480 и WER 17,3979. Данные не уточняют набор обучения, условия оценки и сценарии использования, поэтому эти результаты не позволяют судить о качестве на других аудиозаписях. Лицензия — Apache-2.0.

340дек. 2024ctx1K
textaudioapache-2.0hugging-face
onnx-community
whisper-base.en_timestamped

onnx-community/whisper-base.en_timestamped — модель на базе openai/whisper-base.en, подготовленная в формате ONNX для совместимости с библиотекой Transformers.js. Разработчиком исходной модели является OpenAI, а данный репозиторий предоставляет её ONNX-веса. Модель предназначена для использования в приложениях, поддерживающих Transformers.js, включая веб-сценарии и среды, где требуется запуск моделей с ONNX-весами. README не содержит подробных сведений о задачах, архитектуре, размере, языках, модальностях, длине контекста или точных возможностях временной разметки, поэтому эти характеристики нельзя достоверно уточнить по имеющимся данным. Ключевое преимущество — адаптация весов к ONNX и возможность интеграции с Transformers.js. Решение является временным форматом распространения до более широкого внедрения WebML. Лицензия в README не указана.

4.2K0июль 2024ctx1K
textaudiohugging-face
svogunas
whisper-large-v3-turbo-lt

svogunas/whisper-large-v3-turbo-lt — модель распознавания речи на литовском языке, дообученная на корпусе LIEPA-3 на основе openai/whisper-large-v3-turbo. Это плотная encoder-decoder-модель семейства Whisper с 905,2 млн параметров, принимающая аудио и выдающая текст; для работы используется библиотека Transformers. По указанным в карточке тестам модель снижает WER относительно базовой модели на наборах FLEURS-lt и Common Voice 17 lt, хотя качество на данных вне обучения может отличаться. Модель предназначена для транскрибации литовской речи в аудио и не выдаёт временные метки, поэтому её нельзя напрямую использовать для сегментации по времени, субтитров или выравнивания слов. Текст транскрипции формируется строчными буквами без пунктуации из-за особенностей обучающих меток; для восстановления регистра и пунктуации потребуется отдельная обработка. Лицензия — CC BY 4.0.

681июнь 2026
textaudiocc-by-4.0hugging-face
dianavdavidson
whisper-medium_iv_hindi_vaani_62446_ratio_alldata_lr_1e-4_lgid_None_epochs_100_FT

Это дообученная модель распознавания речи на базе openai/whisper-medium, разработанная автором репозитория dianavdavidson. Она предназначена для преобразования аудио в текст; в названии указана специализация на хинди и набор Vaani, однако README сообщает, что модель обучалась на датасете None, поэтому точный состав обучающих данных не подтверждён. Модель содержит 455,8 млн параметров, использует архитектуру Whisper и формат safetensors; библиотека для работы — Transformers. В README приведены результаты оценки: loss 0,4456 и Global WER 23,25. Описание сценариев применения, подробности обучающих данных и ограничения автором не раскрыты. Лицензия — Apache-2.0.

170сент. 2026ctx1K
textaudioapache-2.0hugging-face
dianavdavidson
whisper-medium_iv_hindi_vaani_62460_ratio_alldata_lr_1e-4_lgid_hi_epochs_100_FT

Это дообученная модель OpenAI Whisper medium, опубликованная пользователем dianavdavidson. Она предназначена для автоматического распознавания речи: принимает аудио и генерирует текстовую расшифровку. Модель содержит около 455,8 млн параметров, использует архитектуру WhisperForConditionalGeneration и доступна в формате safetensors для библиотеки Transformers. Название репозитория указывает на дообучение для хинди на данных Vaani, однако README не раскрывает состав обучающей выборки и сообщает, что набор данных не определён. На оценочном наборе указаны Loss 0,3625 и Global WER 28,6064; условия оценки и сопоставимость результата с другими моделями не описаны. Лицензия — Apache-2.0.

170сент. 2026ctx1K
textaudioapache-2.0hugging-face
dianavdavidson
whisper-medium_iv_hindi_vaani_62561_ratio_alldata_lr_1e-4_lgid_hi_mixratio_0.75_FT

Это дообученная на базе openai/whisper-medium модель распознавания речи, опубликованная пользователем dianavdavidson. Она предназначена для преобразования аудиоречи в текст; название указывает на настройку для хинди и датасет Vaani, однако README не уточняет обучающие данные и сценарии применения. В метаданных указаны архитектура Whisper, библиотека Transformers и формат весов safetensors. В README приведены результаты оценки: Loss 0,4088 и Global WER 29,3511. Эти значения описывают оценку на указанном наборе, но без сведений о методике и данных их нельзя напрямую переносить на другие аудиозаписи. Модель распространяется по лицензии Apache-2.0.

600сент. 2026ctx1K
textaudioapache-2.0hugging-face
Kiyan122
whisper-small-fa-commonvoice

Kiyan122/whisper-small-fa-commonvoice — дообученная модель распознавания речи на основе openai/whisper-small. Она предназначена для преобразования аудио в текст; название указывает на ориентацию на персидскую речь и Common Voice, однако README не подтверждает язык и набор данных. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и формат safetensors, запускается через Transformers. Лицензия — Apache-2.0. Подробности обучения, оценки качества и ограничения в карточке не приведены.

70авг. 2026
textaudioapache-2.0hugging-face
Lingalingeswaran
whisper-small-sinhala

Lingalingeswaran дообучил модель openai/whisper-small на наборе данных Sinhala ASR, чтобы распознавать речь на сингальском языке и преобразовывать её в текст. Модель построена на архитектуре Whisper, содержит 153,1 млн параметров и рассчитана прежде всего на транскрибирование речи на сингальском; также в карточке указана поддержка определения языка. Репозиторий использует Transformers и формат safetensors. Модель подходит для создания текстовых расшифровок сингальской речи, в том числе записей с разными голосами и стилями речи. По данным карточки, качество может снижаться на шумных записях, при выраженных акцентах и для языков или диалектов, недостаточно представленных в обучающих данных; для других языков модель оптимизирована хуже. Лицензия — Apache-2.0.

3667янв. 2025ctx1K
textaudioapache-2.0hugging-face
wrice
whisper-tiny-grpo-d46ed86-cv22-tiny-sftanneal2

Модель wrice/whisper-tiny-grpo-d46ed86-cv22-tiny-sftanneal2 — экспериментальное дообучение Whisper tiny от OpenAI, выполненное с помощью GRPO и комбинированной функции вознаграждения на основе ошибок слов и символов. Она предназначена для преобразования аудиозаписей в текст; обучение проводилось на данных Common Voice для 77 языковых локалей с фиксацией языка по локали записи. Для модели указаны итоговые значения WER 0,661 и CER 0,298 на валидационной выборке по 77 языкам. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через Transformers. Лицензия — MIT. Это proof of concept, а качество в реальных условиях зависит от языка, тематики, акцента и качества аудио.

70июль 2026ctx1K
textaudiomithugging-face
jyoutir
blas-m3-lm

blas-m3-lm — модель распознавания ирландской речи в текст, разработанная автором репозитория jyoutir. Это акустическая модель wav2vec2-XLS-R на базе Wav2Vec2ForCTC с дообучением для ирландского языка и встроенной 5-граммовой языковой моделью KenLM, подключённой через Wav2Vec2ProcessorWithLM. В метаданных указано 403 млн параметров; в README акустическая часть описана как модель на 300 млн параметров. Модель предназначена для транскрибации ирландской речи. В README приведены результаты на Common Voice 25.0 для ga-IE: WER 19,95 и CER 8,42; на FLEURS ga-IE: WER 48,05 и CER 24,20. Автор сообщает, что KenLM снижает WER на 5,6 пункта относительно одной акустической модели. Для декодирования используются pyctcdecode, ширина луча 100 и параметры α=0,5, β=1,5. Модель распространяется по лицензии Apache-2.0. Для работы требуется аудиовход; результатом является текстовая транскрипция. Качество на FLEURS заметно ниже, чем на Common Voice, поэтому результаты зависят от условий записи и набора данных. Заявления о лидерстве в бенчмарке и сравнении с другими системами основаны на измерениях и описании автора README.

1881май 2026
textaudioapache-2.0hugging-face
prithivMLmods
Common-Voice-Gender-Detection-IND-En

Common-Voice-Gender-Detection-IND-En — дообученная модель на базе facebook/wav2vec2-base-960h, разработанная для бинарной классификации английской речи с целью определить, к какому из двух классов — female или male — отнести голос. Она использует архитектуру Wav2Vec2ForSequenceClassification и содержит 113,3 млн параметров. Модель рассчитана на речь на английском языке с индийским акцентом. Модель принимает аудио и выдаёт метку класса. В README приведены результаты на тестовой выборке: точность 99,46%, однако эти показатели не гарантируют такое же качество на других наборах данных и акцентах. Возможные сценарии применения — аналитика записей звонков, разметка аудиоколлекций и исследование акустических особенностей речи. Лицензия — Apache-2.0.

2111сент. 2026
textapache-2.0hugging-face
Veronica1NW
en_whisper_nonstandard_medium

English Whisper Non-Standard Medium — модель распознавания речи, созданная дообучением OpenAI Whisper Medium на английской речи с нестандартными и региональными произносительными вариантами кенийских говорящих. Она предназначена для преобразования такой речи в текст, в том числе в сценариях, где стандартное произношение английского представлено недостаточно. Архитектура — WhisperForConditionalGeneration с 455,8 млн параметров; модель принимает аудио и выдаёт текст. В карточке указаны английский язык и дообучение на подмножестве Mozilla Common Voice и специально отобранной кенийской английской речи. В README приведены метрики оценки: WER 0,1484 на dev и 0,1107 на test, CER 0,0810 на dev и 0,0613 на test. Эти результаты относятся к указанной оценке и не гарантируют такую же точность на других акцентах, акустических условиях или типах записей. Модель распространяется по лицензии Apache-2.0.

1220окт. 2025ctx1K
textaudioapache-2.0hugging-face
SatwikDutta
kid-whisper-tiny-en-myst

SatwikDutta/kid-whisper-tiny-en-myst — англоязычная модель автоматического распознавания речи, разработанная Satwik Dutta из University of Texas at Dallas и дообученная на openai/whisper-tiny.en. Она принимает аудио и преобразует английскую речь в текст. Репозиторий содержит веса в формате safetensors; базовая модель Whisper — компактная модель для распознавания английской речи. Модель подходит для транскрибации английской речи в приложениях и экспериментах. Карточка обозначена как находящаяся в работе и не сообщает о данных обучения, метриках, тестировании или конкретных сценариях; поэтому качество именно этого дообучения оценить по имеющейся информации нельзя. Лицензия — Apache-2.0.

00июль 2025
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей