/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
4 621–4 650 из 4 835
anke01
whisper-small-uyghur

anke01/whisper-small-uyghur — это дообученная для распознавания уйгурской речи версия Whisper Small. Модель основана на openai/whisper-small и использует архитектуру WhisperForConditionalGeneration; в репозитории указано 153,1 млн параметров. Для дообучения использован набор THUYG-20 из 7 600 аудиозаписей. Модель принимает аудио и генерирует текстовую транскрипцию. Модель предназначена для автоматического распознавания речи на уйгурском языке, в том числе для расшифровки аудиофайлов и оценки качества транскрипции. В README приведён CER около 16,5% после 100 шагов демонстрационного обучения; более низкое значение заявлено как ожидаемое при продолжении обучения, но не подтверждено результатом. Репозиторий распространяется в формате Safetensors и заявляет лицензию Apache 2.0, как у исходной модели.

4371март 2026ctx1K
textaudioapache-2.0hugging-face
XPENG-AI
X-AuT

X-AuT-14layer — модель распознавания речи от XPeng, созданная на основе Qwen3-ASR-0.6B. В аудиокодировщике удалены 4 из 18 Transformer-блоков: его размер сокращён со 186,376 млн до 147,794 млн параметров, то есть на 20,70%. Языковая модель сохранена, а released checkpoint поставляется как полная дообученная модель в формате safetensors и загружается без отдельной загрузки базовой модели или ручного удаления слоёв. Модель предназначена для транскрибации речи на китайском и английском языках. В описанных тестах на десяти публичных бенчмарках 14-слойная версия показывает компромисс между точностью и эффективностью: средняя ошибка выше базовой на 2,5% относительно, зато задержка аудиокодировщика ниже на 21,4% на автомобильном PPU и на 11,4% на H800. Это результаты одиночных запусков; статистическая значимость не установлена. Для модели указана лицензия CC BY-NC 4.0, ограничивающая коммерческое использование.

1538сент. 2026ctx131.1K
textaudiocc-by-nc-4.0hugging-face
KasuleTrevor
cdli-qwen3-asr-lg-atypical-stage3-1p7b-base-b8

KasuleTrevor разработал эту модель как дообученный чекпойнт Qwen3-ASR для распознавания речи на лугандийском языке, в том числе речи с нарушениями разной степени тяжести. Это выбранный чекпойнт 1000-го шага третьего этапа обучения на наборе cdli/ugandan_luganda_nonstandard_speech_v1.0; базовая модель — KasuleTrevor/cdli-qwen3-asr-lg-typical-1p7b-base-finetune. Модель принимает аудио и выдаёт распознанный текст. На тестовой выборке средний нормализованный WER по высказываниям составил 0,497, а CER — 0,231; без ограничения нормализованный корпусный WER составил 0,633, CER — 0,323. Ошибки чаще возникали на речи с тяжёлыми нарушениями: средний WER составил 0,597 против 0,397 для лёгких нарушений. Модель распространяется по лицензии Apache-2.0.

180июль 2026ctx131.1K
textaudioapache-2.0hugging-face
badrex
Ethio-ASR-multilingual-1B

Ethio-ASR multilingual 1B — модель автоматического распознавания речи команды Ethio-ASR, созданная дообучением facebook/mms-1b на наборе WAXAL Speech Dataset. Она предназначена для транскрибирования аудио на амхарском, тигринья, афаан-оромо, сидама и волайтта; в карточке также заявлена идентификация языка речи. Модель построена на архитектуре Wav2Vec2 с CTC-выходом, содержит 1,3 млрд параметров и распространяется в формате safetensors для Transformers. На тестовой части WAXAL модель показала средний WER 31,20; лучшие результаты среди перечисленных языков — для афаан-оромо (23,69) и волайтта (37,51). Её можно использовать как основу для голосовых помощников, средств доступности и исследовательских сравнений. Лицензия CC-BY-NC 4.0 ограничивает коммерческое использование. Качество может различаться в зависимости от диалекта, возраста и пола говорящего и качества записи; для шумного аудио без предварительной очистки речи модель не рекомендуется, а в критически важных сценариях необходима проверка человеком.

1982март 2026
textaudiocc-by-nc-4.0hugging-face
Pravalika2711
gonthuka-asr-finetuned

Pravalika2711/gonthuka-asr-finetuned — модель автоматического распознавания речи на телугу, разработанная на основе Swecha Gonthuka ASR и дообученная на пользовательском наборе аудиозаписей. Это модель Wav2Vec2ForCTC с 113,3 млн параметров, предназначенная для преобразования речи в текст. Она принимает аудио и выдаёт текст на телугу; для работы используются Transformers и формат весов safetensors. Модель подходит для транскрибирования телугуской речи, голосовых помощников и систем преобразования речи в текст, а также для задач доступности и обучения. В README сообщается о CER 0,14 на оценке модели. Набор дообучения включал около 752 записей WAV с частотой 16 кГц, моно, и проверенными транскрипциями. Качество может снижаться в шумной среде и зависит от акцента говорящего и качества записи; модель лучше работает с монофоническим WAV 16 кГц. Лицензия — Apache-2.0.

111июль 2026
textaudioapache-2.0hugging-face
futo-org
gravel-ctc-440m

futo-org разработала Gravel CTC 440M — англоязычную модель автоматического распознавания речи на архитектуре Conformer. Она использует 440-миллионный аудиоэнкодер, выделенный из ibm-granite/granite-speech-4.1-2b-nar, и отдельную CTC-голову с BPE-256; адаптация LoRA объединена с весами модели. На вход подаётся необработанный аудиосигнал PCM с частотой 16 кГц. Модель предназначена для транскрибации английской речи и используется как учитель для дистилляции потоковых ASR-моделей FUTO. Репозиторий содержит веса safetensors; лицензия — Apache-2.0. Для загрузки в README указан trust_remote_code=True.

130июль 2026
textaudioapache-2.0hugging-face
iulik-pisik
horoscope_model_base

Whisper Base Romanian - Horoscop Neti — модель распознавания речи, созданная дообучением openai/whisper-base на датасете Horoscop Neti. Предназначена для преобразования аудиозаписей в текст, в частности для речи на румынском языке. Модель содержит 51,7 млн параметров и использует архитектуру WhisperForConditionalGeneration; веса представлены в формате safetensors. На оценочной выборке указана метрика WER 17,0358 и loss 0,3282. Модель распространяется по лицензии Apache-2.0. Подробности о составе обучающих данных и ограничениях в карточке не приведены.

130февр. 2024ctx1K
textaudioapache-2.0hugging-face
seanghay
Qwen3-ASR-0.6B-Khmer

Qwen3-ASR-0.6B-Khmer — модель автоматического распознавания речи, созданная дообучением Qwen/Qwen3-ASR-0.6B компанией Seanghay. Она предназначена для транскрибации кхмерской речи: модель принимает аудио и выдаёт текст с распознанной речью. Модель семейства Qwen3-ASR имеет плотную архитектуру и 0,6 млрд параметров; для распознавания использован набор DDD-Cambodia/khmer-speech-dataset объёмом около 700 часов речи. В тестах CER составил 1,96% на 1 000 фрагментах из домена обучения и 7,91% на 2 906 фрагментах вне него. Модель лучше всего подходит для чистой, заранее подготовленной речи на кхмерском языке; точность снижается на шумной, спонтанной и смешанной кхмерско-английской речи. Результат обычно не содержит пунктуации и имеет минимальную сегментацию, а в длинной речи с паузами и повторами возможны повторения фраз. Модель распространяется по лицензии Apache-2.0.

7.6K16июль 2026ctx131.1K
textaudioapache-2.0hugging-face
capacit-ai
saga-2-m

saga-2-m — датская модель распознавания речи от Capacit A/S, опубликованная под лицензией CC BY-NC 4.0 с обязательным указанием авторства при распространении. В ней аудиоэнкодер Whisper large-v3-turbo-danish соединён через проектор с декодером Qwen3-0.6B-Base; модель содержит около 1,24 млрд параметров и работает с точностью bf16. Она преобразует датскую речь в текст с пунктуацией и сохранением регистра. Разработчики сообщают о первом месте на датском ASR-лидерборде и скорости 268× реального времени на RTX 5090 при batch 16. Модель предназначена для офлайн-транскрибации датской речи, включая парламентские выступления, чтение вслух и разговорную речь. Обучение использовало FTSpeech, CoRal и другие датские речевые корпуса; для коротких фрагментов аудио модель может выдавать пустую строку на тишине и звуковых сигналах. Окно энкодера — до 30 секунд. Поддерживается только датский язык. Модель не выдаёт пословные временные метки, не выполняет диаризацию и не поддерживает потоковое распознавание; контекст между фрагментами длинной записи не сохраняется. Разговоры, перекрывающаяся речь и дальние микрофоны снижают точность; числа и редкие имена остаются частыми ошибками. Для критически важных применений качество следует проверять на собственных данных.

22610сент. 2026
textaudiocc-by-nc-4.0hugging-face
FreedomIntelligence
Soundwave

Soundwave — модель семейства Soundwave от FreedomIntelligence для взаимодействия с речью и текстом. Она предназначена для преобразования аудиовхода в текстовые ответы, включая перевод речи и задачи понимания речи; также поддерживает диалоговые сценарии и сохраняет способности языковой модели в разговоре. По карточке, модель использует плотную архитектуру SoundwaveForCausalLM, содержит 7,5 млрд параметров и обучалась на 10 тысячах часов данных. Метаданные указывают контекст до 131 072 токенов, формат весов safetensors и интерфейс для вызова инструментов. Поддерживается английский язык. Модель распространяется по лицензии Apache-2.0. README заявляет высокие результаты на задачах перевода речи и AIR-Bench, но численные результаты и подробные ограничения в предоставленных материалах не приведены.

8615март 2025ctx131.1K
textapache-2.0hugging-face
ghananlpcommunity
w2v2-lg-xls-r-300m-kasem

w2v2-lg-xls-r-300m-kasem — модель автоматического распознавания речи на основе Wav2Vec2, дообученная сообществом GhanaNLP на facebook/wav2vec2-xls-r-300m. Она принимает аудио и преобразует речь в текст; число параметров составляет около 402,7 млн. В карточке приведены результаты оценки: WER 0,30174 и eval_loss 1,99408. Модель предназначена для распознавания речи на языке Kasem. Она распространяется в формате Safetensors и рассчитана на использование с библиотекой Transformers. Лицензия CC BY-NC-SA 4.0 требует указания авторства, ограничивает коммерческое использование и предписывает распространять производные работы на тех же условиях.

70июль 2026
textaudiocc-by-nc-sa-4.0hugging-face
Selest
wav2vec2-bert-assyrian-urmi-asr

Модель Selest/wav2vec2-bert-assyrian-urmi-asr — дообученная Selest версия Wav2Vec2BertForCTC на аудиоданных у́рмийского диалекта ассирийского новоарамейского языка в сирийской традиции письма. Она преобразует речь в текст и принимает аудиопризнаки log-mel, подготовленные SeamlessM4TFeatureExtractor; частота дискретизации — 16 кГц. В основу положена facebook/w2v-bert-2.0, обучение включало аугментацию скорости речи. Модель содержит около 402,7 млн параметров и распространяется в формате Safetensors для Transformers. Модель предназначена для автоматического распознавания ассирийской новоарамейской речи, в частности записей урмийского варианта. Качество зависит от условий записи и охвата словаря, поэтому перед применением в конкретной предметной области нужна оценка на соответствующих аудиозаписях. Лицензия — Apache-2.0.

890май 2026
textaudioapache-2.0hugging-face
BrainTheos
wav2vec2-large-mms-1b-all-lingala-ojpl

BrainTheos/wav2vec2-large-mms-1b-all-lingala-ojpl — модель распознавания речи на основе wav2vec2, дообученная на facebook/mms-1b-all на данных audiofolder. Она преобразует входящую речь в текст и предназначена для распознавания речи на лингала; архитектура модели — Wav2Vec2ForCTC, размер — 1,3 млрд параметров. В оценке на тестовой выборке указаны loss 0,8394 и WER 0,2698. Модель подходит для транскрибирования записей и голосовых сообщений на лингала. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка не содержит подробных сведений о сценариях обучения и ограничениях качества.

3471июль 2023
textaudiocc-by-nc-4.0hugging-face
MohammedNasri
whisper-algerian-dialect

Whisper для распознавания речи, дообученная Mohammed Nasri на алжирском диалекте арабского языка с переключением на французский. Модель основана на openai/whisper-tiny, содержит 153,1 млн параметров и принимает аудио, выдавая текстовую транскрипцию. Для обучения использовалась алжирская часть набора UBC-NLP/Casablanca; в карточке указана частота ошибок слов около 23% на валидационной выборке. Модель предназначена для транскрибирования речи на алжирском диалекте, в том числе в записях с арабско-французским переключением. Автор описывает обучение как демонстрационное и отмечает, что для производственного применения рекомендуется более длительное дообучение. Лицензия — Apache-2.0.

585авг. 2025ctx1K
textaudioapache-2.0hugging-face
seastar105
whisper-small-komixv2

seastar105/whisper-small-komixv2 — дообученная модель распознавания речи на базе OpenAI Whisper Small. Разработчик сообщает, что обучал её на корейских аудиоданных: записях адресов, совещаний, телефонных разговоров низкого качества и диалогах из вещательного контента. В метаданных указаны архитектура WhisperForConditionalGeneration, 153,1 млн параметров и библиотека Transformers; веса доступны в форматах Flax и Safetensors. Модель предназначена для транскрибирования корейской речи, в том числе телефонных звонков, совещаний и разговорного аудио. В README приведены результаты тестирования на нескольких корейских наборах данных; автор утверждает, что среднее качество на его тестовом наборе выше, чем у Whisper Large v3. Лицензия и точные условия использования в предоставленных сведениях не указаны.

1820февр. 2025ctx1K
textaudiohugging-face
andrewbawitlung
xlsr-1b-mizonal3-E5-lus-v2026.06

Модель xlsr-1b-mizonal3-E5-lus-v2026.06 разработана Andrew Bawitlung и дообучена на базе facebook/wav2vec2-xls-r-1b для автоматического распознавания речи на языке Lus. Она использует архитектуру Wav2Vec2ForCTC и содержит 1,3 млрд параметров; при обучении применялась комбинация аугментаций: добавление фонового шума, изменение скорости речи и SpecAugment. Модель предназначена для преобразования аудиозаписей речи в текст. В README приведены результаты на оценочной выборке: WER 26,3669, CER 5,7509 и real-time factor 0,0038. Модель опубликована под лицензией Apache-2.0. В README указано, что подробности эксперимента и публикации находятся на рецензировании.

80июнь 2026
textaudioapache-2.0hugging-face
zhouyunhu
whisper-large-v3

Карточка модели zhouyunhu/whisper-large-v3 на Hugging Face совпадает с карточкой openai/whisper-large-v3, поэтому описание составлено по ней. Whisper large-v3 — мультиязычная модель распознавания речи на основе Transformer encoder-decoder, разработанная OpenAI. Она предназначена для транскрибирования аудио на исходном языке и перевода речи в текст на другом языке, включая перевод на английский. Модель содержит 905,2 млн параметров; по сравнению с предыдущими версиями использует спектрограммы с 128 Mel-частотными полосами и включает отдельный токен для кантонского языка. Модель обучалась на слабой разметке и псевдоразмеченных аудиоданных и рассчитана на работу с разными языками, акцентами, шумом и предметными областями. При обработке длинных записей требуется последовательная или сегментированная обработка: рецептивное поле модели составляет 30 секунд. Лицензия — Apache-2.0. Возможны ошибки транскрибации и генерация текста, отсутствующего в аудио; качество неодинаково для разных языков, акцентов и диалектов и ниже для языков с малым объёмом обучающих данных. Архитектура также может порождать повторяющийся текст.

80июнь 2026
textaudioapache-2.0hugging-face
oruk
orukeet

Orukeet — модель распознавания речи от Oruk AI, созданная на основе NVIDIA Parakeet TDT 0.6B v3. Это мультиязычная модель на 25 языков для транскрибирования аудиозаписей, медиаматериалов и потоков пакетной обработки, а также для серверных и интерактивных приложений. Модель сохраняет 627 млн параметров, 24-слойный энкодер FastConformer и transducer-архитектуру Parakeet. В половине временных depthwise-фильтров энкодера используются 12 288 обученных и зафиксированных Gabor-ядер. В описанных тестах Orukeet показала меньший WER, чем исходная Parakeet, на 61 из 74 тестовых срезов; например, объединённый WER по 25 языкам FLEURS составил 9,85% против 11,01%. Доступны варианты для NeMo, ONNX INT8, GGUF Q8 и F16, а также экспорт Transformers. Карточка описывает обучение и выбор контрольной точки на записях LibriSpeech test-other, поэтому результаты оценки следует учитывать с этой оговоркой. Модель распространяется по лицензии CC-BY-SA-4.0.

41K99сент. 2026
textaudiocc-by-sa-4.0hugging-face
nyralabs
CrisperWhisper2.0_small

CrisperWhisper 2.0 small — модель распознавания речи от Nyra Labs, основанная на архитектуре Whisper и содержащая 153,1 млн параметров. Она преобразует аудио в текст и поддерживает режимы verbatim, сохраняющий повторы, слова-паразиты, обрывы и вокальные события, и intended, который передаёт предполагаемый смысл в отредактированной записи. Модель также может выдавать временные границы отдельных слов и обрабатывать длинные записи с продолжением транскрипции между фрагментами. Модель предназначена для точной дословной расшифровки речи, подготовки транскриптов для анализа и создания речевых наборов данных. README описывает возможности семейства CrisperWhisper 2.0, включая мультиязычную работу, но метаданные этой версии явно указывают английский и немецкий языки. Для выбранной модели доступны веса safetensors и библиотека crisperwhisper. В README стандартные модели семейства обозначены как распространяемые по некоммерческой исследовательской лицензии с возможностью получить коммерческую лицензию; метаданные указывают лицензию other.

3.4K10июль 2026ctx1K
textaudiootherhugging-face
jonatasgrosman
exp_w2v2t_ru_hubert_s818

jonatasgrosman/exp_w2v2t_ru_hubert_s818 — модель распознавания русской речи, дообученная автором jonatasgrosman с помощью HuggingSound на обучающей части Common Voice 7.0. Она основана на facebook/hubert-large-ll60k и использует архитектуру HuBERT с CTC-головой; размер составляет 402,7 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Подходит для автоматической транскрипции русскоязычных записей. Распространяется по лицензии Apache-2.0.

112июль 2022
textaudioapache-2.0hugging-face
shyngys879
kazakh-whisper-large-v3-turbo

Kazakh Whisper Large-v3 Turbo — модель распознавания речи на казахском языке, созданная автором репозитория shyngys879 путём дообучения Whisper Large-v3 Turbo от OpenAI. Это модель семейства Whisper с архитектурой encoder-decoder; она принимает аудио и выдаёт текстовую расшифровку. Чекпойнт предназначен для использования через Transformers и Hugging Face pipelines без LoRA-адаптера или специального кода загрузки. Модель обучена на смеси публичных казахских речевых наборов: README сообщает о 841 113 обучающих примерах и более чем 1 500 часах речи. Среди сценариев — транскрибация записей, создание субтитров, расшифровка подкастов, интервью и встреч, а также подготовка речевых данных и обработка звонков. В тесте FLEURS для казахского языка указаны WER 11,80% и CER 4,98%; результаты относятся к описанному набору оценивания. Качество может снижаться при сильном фоновом шуме, перекрывающихся голосах, выраженных акцентах и диалектах, смешении казахского с русским, записях с преобладанием музыки и обработке очень длинного аудио без сегментации. README рекомендует подавать аудио с частотой 16 кГц и разбивать длинные записи на фрагменты. Модель распространяется по лицензии Apache-2.0.

13K15июнь 2026
textaudioapache-2.0hugging-face
17slever17
Qwen3-ForcedAligner-Ultra

Qwen3-ForcedAligner-Ultra — мультиязычная модель принудительного выравнивания текста с речью, созданная автором карточки на основе Qwen/Qwen3-ForcedAligner-0.6B. Она принимает аудио и соответствующую расшифровку и определяет временные границы слов; предназначена для разметки субтитров, исправления расшифровок, подготовки речевых датасетов и проставления временных меток в результатах распознавания речи. Модель относится к семейству Qwen3 ASR и дообучена с помощью LoRA; основной чекпойнт использует обучаемую временную голову. Опциональная Local Head уточняет границы внутри выбранного акустического участка с шагом 10 мс. Обучение охватывало шумную, акцентированную и разговорную речь, ошибки и пропуски в расшифровке, а также переключение языков. Заявленная поддержка включает китайский, английский, кантонский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский; наиболее подробно дообучались и оценивались девять языков, а кантонский и португальский рекомендуется проверять на целевых данных. В описанной автором оценке на многоязычной выборке модель заметно сократила среднюю ошибку временных границ и долю крупных выбросов по сравнению с исходным чекпойнтом; Local Head дополнительно повышает точность локальных границ. Результаты зависят от качества аудио и расшифровки, а показатели для двух поддерживаемых языков имеют меньший охват оценки. Модель распространяется по лицензии Apache-2.0.

5583авг. 2026ctx131.1K
textaudioapache-2.0hugging-face
jonatasgrosman
wav2vec2-large-xlsr-53-english

jonatasgrosman/wav2vec2-large-xlsr-53-english — англоязычная модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1. Это архитектура Wav2Vec2 с CTC-выходом, содержащая 402,7 млн параметров; модель принимает аудио и выдаёт распознанный текст. Для работы входную речь нужно подавать с частотой дискретизации 16 кГц. Модель предназначена для транскрибации английской речи, в том числе записей, подобных материалам Common Voice. В README описана оценка на тестовой выборке Common Voice 6.0 и на speech-recognition-community-v2/dev_data. Указанная лицензия — Apache-2.0.

66K477март 2022
textaudioapache-2.0hugging-face
jonatasgrosman
wav2vec2-large-xlsr-53-russian

jonatasgrosman/wav2vec2-large-xlsr-53-russian — модель распознавания русской речи от Jonatas Grosman, дообученная на базе facebook/wav2vec2-large-xlsr-53 на обучающей и проверочной выборках Common Voice 6.1 и CSS10. Она использует архитектуру Wav2Vec2 с CTC-декодированием и содержит около 402,7 млн параметров. Модель преобразует аудиозапись русской речи в текст и подходит для транскрибации записей и оценки систем распознавания речи. Для входного аудио требуется частота дискретизации 16 кГц. Карточка указывает лицензию Apache-2.0.

3.9M81март 2022
textaudioapache-2.0hugging-face
AndrewMcDowell
wav2vec2-xls-r-1B-german

Andrew McDowell дообучил wav2vec2-xls-r-1b для автоматического распознавания немецкой речи на наборе MOZILLA-FOUNDATION/COMMON_VOICE_8_0, конфигурация DE. Модель использует архитектуру wav2vec2 с классификационной головой CTC; в метаданных указано 1,3 млрд параметров и формат PyTorch. Для тестовой выборки Common Voice 8.0 автор сообщает значение WER 0,1532 и loss 0,1355. Модель подходит для преобразования немецкой речи в текст, например для транскрибации записей и оценки систем распознавания на немецком языке. Она принимает аудио и выдаёт текст. Лицензия — Apache-2.0.

341март 2022
textaudioapache-2.0hugging-face
OpenVINO
whisper-large-v3-fp16-ov

Whisper Large v3 FP16 OpenVINO — это модель автоматического распознавания речи, разработанная OpenAI и преобразованная в формат OpenVINO IR с весами в формате FP16. Модель предназначена для преобразования аудиозаписей в текст и совместима с библиотеками OpenVINO и Optimum Intel. Модель содержит около 905,2 млн параметров и поддерживает распознавание речи на широком наборе языков, включая русский, английский, китайский, немецкий, испанский, французский, японский и многие другие. Она рассчитана на запуск через OpenVINO 2025.2.0 или новее и Optimum Intel 1.23.0 или новее, включая выполнение на CPU через OpenVINO GenAI. Модель подходит для транскрибации аудиозаписей, голосовых сообщений, звонков и другого речевого контента. FP16-представление и формат OpenVINO IR ориентированы на эффективное выполнение на поддерживаемом оборудовании, однако ограничения исходной модели Whisper Large v3 распространяются и на эту конвертированную версию. Модель распространяется по лицензии Apache-2.0.

8551нояб. 2024
textaudioapache-2.0hugging-face
OpenMOSS-Team
MOSS-Transcribe-Diarize

MOSS-Transcribe-Diarize 0.9B — аудиомодель OpenMOSS-Team для транскрибирования длинных записей с несколькими говорящими. Она совместно распознаёт речь и выполняет диаризацию, формируя текст с временными метками и анонимными метками говорящих. Также может добавлять аннотации акустических событий. Модель рассчитана на встречи, звонки, подкасты, интервью, лекции и видео. Она обрабатывает аудио или видео за один проход, поддерживает записи длительностью до 90 минут, более 50 языков и подсказки с пользовательскими ключевыми словами для специальных терминов. В репозитории указана плотная архитектура conditional generation; для загрузки требуется Transformers с пользовательским кодом модели. Сильные стороны — совместная транскрипция и диаризация, временная разметка и обработка длинных записей. Метки говорящих анонимны и относятся только к конкретной записи; качество распознавания может зависеть от языка, шума и перекрывающейся речи. Модель распространяется по лицензии Apache-2.0.

202K467май 2026ctx131.1K
textapache-2.0hugging-face
NbAiLab
nb-whisper-base-beta

NB-Whisper Base beta — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper и дообученная от openai/whisper-small. Она предназначена для транскрибации норвежской речи, включая букмол и нюнорск, а также английской речи. Модель относится к семейству Whisper; в метаданных указано 51,7 млн параметров. Она принимает аудио и выдаёт текст, поддерживается библиотекой Transformers и доступна в форматах PyTorch, TensorFlow, Flax, ONNX и safetensors. Модель обучалась на 20 000 часах размеченных данных, включая норвежские речевые базы, парламентские выступления, телесубтитры и аудиокниги. Разработчики сообщают о высоком качестве для норвежской транскрибации среди ASR-моделей сопоставимого размера. Это публичная бета с лицензией CC BY 4.0. Разработчики предупреждают, что модель может галлюцинировать, пропускать фрагменты и нормализовать устную речь в грамматически правильный письменный текст; поэтому результат может не быть дословной транскрипцией.

571июль 2023ctx448
textaudiocc-by-4.0hugging-face
espnet
owsm_ctc_v4_1B

OWSM-CTC v4 — открытая многоязычная речевая модель семейства Open Whisper-style Speech Model, разработанная авторами проекта OWSM и распространяемая через ESPnet. Это модель на основе энкодера с иерархическим многозадачным self-conditioned CTC; она выполняет распознавание речи, перевод речи и определение языка в одной нерекуррентной модели. Версия v4 обучалась три эпохи на 320 тысячах часов открытых аудиоданных. Модель предназначена для преобразования речи в текст и поддерживает обработку аудио с частотой 16 кГц. Для коротких записей ожидается фиксированная длительность 30 секунд с дополнением или усечением; для длинных записей ESPnet может разделять аудио на перекрывающиеся фрагменты. CTC-декодирование не предоставляет временные метки слов или сегментов. Для применения нужны ESPnet и espnet_model_zoo. Лицензия — CC BY 4.0.

11K14янв. 2025
textaudiocc-by-4.0hugging-face
versae
whisper-large-v3

versae/whisper-large-v3 — версия Whisper Large v3 от OpenAI, опубликованная versae в формате Hugging Face с использованием скрипта конвертации. Это предобученная модель для автоматического распознавания речи и перевода устной речи; Whisper обучалась на 680 тысячах часов размеченных данных и рассчитана на работу с разными наборами данных и предметными областями без дообучения. Модель относится к семейству Whisper, имеет около 905,2 млн параметров и принимает аудио, выдавая текст. Метаданные указывают поддержку многих языков, включая русский и английский. Модель подходит для транскрибирования аудиозаписей и перевода речи. Репозиторий содержит веса PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Это конверсия версии Whisper Large v3, а не отдельное дообучение; длина контекста в предоставленных данных не описана.

2318нояб. 2023ctx1K
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей