/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
3 751–3 780 из 4 835
nezamisafa
whisper-large-v3-persian

Whisper large-v3 Persian — модель распознавания речи, созданная дообучением openai/whisper-large-v3 на персидских аудиозаписях из Mozilla Common Voice 17.0. Модель построена на архитектуре Whisper, содержит 905,2 млн параметров и принимает аудио, выдавая распознанный текст. Для запуска используется библиотека Transformers; веса представлены в формате safetensors. Модель предназначена для транскрибации речи на персидском языке. В README указано, что при дообучении использовали более 200 тысяч примеров; на оценочной выборке WER составил 26,5381. Авторы отмечают, что ошибки написания в датасете приводят к грамматическим недостаткам распознанного текста. Лицензия — Apache-2.0.

1011май 2025
textaudioapache-2.0hugging-face
dvislobokov
whisper-large-v3-turbo-russian

Модель dvislobokov/whisper-large-v3-turbo-russian — дообученная русскоязычная версия Whisper large-v3-turbo, созданная dvislobokov на базе openai/whisper-large-v3-turbo. Она предназначена для автоматического распознавания русской речи и преобразования аудио в текст. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 905,2 млн параметров и принимает аудио.

14126дек. 2024
textaudiomithugging-face
OllmOne
whisper-medium-GGUF

OllmOne/whisper-medium-GGUF — это GGUF-квантизированная версия мультиязычной модели Whisper medium, опубликованная пользователем OllmOne и основанная на openai/whisper-medium, разработанной OpenAI. Она предназначена прежде всего для автоматического распознавания речи, а также поддерживает перевод речи на английский, определение языка и связанные задачи обработки аудио. Модель может использоваться локально через Transformers и совместимые средства инференса GGUF. Архитектура — encoder-decoder Transformer с 24 слоями энкодера и 24 слоями декодера, 16 attention heads в каждом, размером скрытого представления 1024 и 80 mel-каналами. Исходная модель содержит около 769 млн параметров; в репозитории указано около 0,8 млрд параметров. Конфигурация задаёт до 1500 позиций входа и 448 позиций целевой последовательности. Репозиторий содержит файл model-q4k.gguf размером около 444 МБ, что уменьшает требования к хранению и локальному запуску по сравнению с полной точностью. Сильные стороны модели — мультиязычность, поддержка распознавания и перевода речи и возможность локального использования в компактном квантизированном формате. Ограничения включают возможные ошибки и галлюцинации, зависимость качества от языка, акустики и предметной области, а также склонность sequence-to-sequence архитектуры к повторяющимся текстам; перед развёртыванием рекомендуется проводить оценку на конкретных данных. Для репозитория OllmOne указана лицензия Apache-2.0.

2.7K5май 2024
textaudioapache-2.0hugging-face
vumichien
whisper-medium-jp

vumichien/whisper-medium-jp — дообученная модель автоматического распознавания речи на основе openai/whisper-medium, разработанная с использованием набора данных Mozilla Common Voice 11.0. Она предназначена для преобразования японской речи в текст. Модель семейства Whisper содержит около 455,8 млн параметров и представлена в формате PyTorch; оценка на тестовой выборке Common Voice 11.0 составляет WER 9,0355 и loss 0,3029. Распространяется по лицензии Apache-2.0.

9.8K27дек. 2022ctx1K
textaudioapache-2.0hugging-face
OpenVINO
whisper-small-fp16-ov

OpenVINO/whisper-small-fp16-ov — модель автоматического распознавания речи, созданная на основе Whisper Small от OpenAI и преобразованная в формат OpenVINO IR с весами FP16. Модель предназначена для преобразования аудиозаписей в текст и совместима с OpenVINO 2025.2.0 и новее, а также Optimum Intel 1.23.0 и новее. Модель имеет 153,1 млн параметров и использует архитектуру Whisper для последовательного преобразования речевого сигнала в текст. В карточке указана поддержка английского языка. Формат OpenVINO IR ориентирован на инференс через OpenVINO и OpenVINO GenAI, включая запуск на CPU. К сильным сторонам относятся оптимизированное представление FP16 и интеграция с инструментами OpenVINO для развертывания распознавания речи. Ограничения унаследованы от исходной модели Whisper Small: качество зависит от качества и характеристик аудио, а применение для языков, не заявленных в карточке, может быть ненадежным. Модель распространяется по лицензии Apache-2.0.

8450июнь 2025ctx1K
textaudioapache-2.0hugging-face
nvidia
audio-flamingo-next-captioner-hf

Audio Flamingo Next Captioner — модель NVIDIA для подробного описания длинных аудиозаписей с речью, окружающими звуками и музыкой. Она формирует развернутые подписи, сводки и описания событий с временными метками, а также может включать точную расшифровку речи нескольких говорящих. Модель принимает аудио длительностью до 30 минут; процессор ожидает монофонический звук с частотой 16 кГц и обрабатывает его окнами по 30 секунд. Архитектура сочетает аудиокодировщик AF-Whisper, адаптер MLP, текстовую основу семейства Qwen2.5 с расширенным контекстом и RoTE для привязки к временным отметкам. В метаданных указаны архитектура MusicFlamingo, библиотека Transformers и формат safetensors; карточка описывает контекст до 128K токенов, тогда как метаданные указывают 1200 токенов. Модель предназначена для плотных, связных описаний и сводок аудио, разбивки сцены по времени и описания речи, звуковых событий и фона. Она может быть многословной и ориентирована на подписи, а не на поведение ассистента; для диалоговых ответов и явных рассуждений автор рекомендует другие варианты семейства. Ограничения включают неравномерное покрытие языков и предметных областей, слабое представление низкоресурсных языков и редких событий, а также трудности рассуждений по разреженным данным на большом временном интервале. Лицензия — other; автор указывает, что модель предназначена только для некоммерческих исследований.

13K24апр. 2026ctx1.2K
textaudiootherhugging-face
akisviete
azuolas-whisper-lt

Ąžuolas — модель распознавания литовской речи из аудиозаписей, созданная akisviete на основе Whisper large-v3 и дообученная методом SFT на корпусе LIEPA-3. В обучении использовано около 9,8 тысячи часов литовской речи: чтение, спонтанная речь и фонетические записи. Модель содержит около 905,2 млн параметров, построена на архитектуре Whisper и доступна в формате safetensors для Transformers. Модель предназначена для транскрибации литовской речи, в том числе длинных записей и выступлений. В описанных тестах она показала более низкий WER, чем сравниваемые литовские модели, но работала медленнее. Лицензия — CC BY 4.0. Известное ограничение: модель может генерировать связные литовские фразы на участках тишины или фонового шума. Для длинных записей автор рекомендует использовать обработку с фильтром тишины и нарезкой аудио на паузах.

2315сент. 2026
textaudiocc-by-4.0hugging-face
bangla-speech-processing
BanglaASR

BanglaASR — модель распознавания речи на бенгальском языке, разработанная Md Saiful Islam. Она представляет собой дообученную на данных Mozilla Common Voice модель Whisper small и предназначена для преобразования бенгальской речи в текст. Для обучения использовались около 400 часов аудио: 40 тысяч обучающих и 7 тысяч проверочных фрагментов; в README для оценки указан Word Error Rate 4,58%. Метаданные репозитория указывают архитектуру Whisper и 153,1 млн параметров, тогда как README описывает вариант small как имеющий 244 млн параметров. Модель принимает аудио и выдаёт текст. В карточке указана лицензия MIT. Оценка качества приведена для использованного набора данных; она не гарантирует такую же точность на других записях и условиях речи.

1.3K26июнь 2023ctx1K
textaudiomithugging-face
kotoba-tech
kotoba-whisper-v1.1

Kotoba-Whisper-v1.1 — японская модель распознавания речи на базе kotoba-tech/kotoba-whisper-v1.0, разработанная Kotoba Technologies в сотрудничестве с Asahi Ushio. Она использует архитектуру Whisper и насчитывает около 905 млн параметров. Модель принимает аудио и выдаёт японскую транскрипцию; встроенный конвейер добавляет пунктуацию и улучшает временные метки с помощью Stable-ts. Модель предназначена для транскрибирования японской речи, в том числе длинных аудиозаписей, и поддерживает подсказки при распознавании. В README приведено сравнение скорости на 50 минутах речи: версия 1.1 с пунктуацией и временными метками работает медленнее версии 1.0 с отключёнными временными метками. Для использования нужны Transformers версии 4.39 или новее, а также Stable-ts и punctuators. Лицензия — Apache-2.0.

26434апр. 2024
textaudioapache-2.0hugging-face
csikasote
mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-52

Модель csikasote/mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-52 — дообученная версия facebook/mms-1b-all для автоматического распознавания речи. Она основана на архитектуре wav2vec2, содержит 1,3 млрд параметров и принимает аудио, выдавая текст. Дообучение выполнено на наборе BEMGEN - BEM; на оценочном наборе указаны Loss 12.0449 и CER 0.0516. Модель предназначена для преобразования речи в текст. Базовая MMS-1B-All поддерживает более тысячи языков, однако языковой охват именно этой дообученной версии в карточке не уточнён. Модель распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.

1570сент. 2026
textaudiocc-by-nc-4.0hugging-face
fidoriel
moonshine-base-de

fidoriel/moonshine-base-de — модель распознавания речи на базе архитектуры Moonshine, созданная переносным дообучением англоязычной UsefulSensors/moonshine-base для немецкого языка. Она преобразует аудиоречь в текст и предназначена для сценариев автоматической транскрипции на немецком языке. В метаданных указан класс MoonshineForConditionalGeneration, формат весов Safetensors и контекст 194 токена. В оценке на тестовой части Common Voice указаны WER 0,069 и CER 0,024. Модель распространяется по лицензии CC BY-NC-SA 4.0: требуется указание авторства, использование ограничено некоммерческими целями, а производные работы должны распространяться на тех же условиях. Финансирование исходного проекта обеспечило Федеральное министерство исследований, технологий и космоса Германии.

430авг. 2025ctx194
textaudiocc-by-nc-sa-4.0hugging-face
onnx-community
nemotron-3.5-asr-streaming-0.6b-onnx-int4

Nemotron 3.5 ASR Streaming 0.6B ONNX INT4 — мультиязычная модель автоматического распознавания речи, разработанная NVIDIA и представленная в формате ONNX сообществом onnx-community. Это квантизированная INT4-версия модели nvidia/nemotron-3.5-asr-streaming-0.6b с примерно 600 миллионами параметров, предназначенная для преобразования речи в текст с поддержкой пунктуации и капитализации. Модель рассчитана на потоковую расшифровку речи, голосовых агентов и приложений, которым нужны низкая задержка и высокая пропускная способность, а также на пакетную обработку аудио. Она использует архитектуру Cache-Aware FastConformer-RNNT, переиспользующую закэшированный контекст энкодера и обрабатывающую только новые аудиофрагменты. Поддерживается 40 языковых локалей, включая английский, испанский, немецкий, французский, итальянский, арабский, японский, корейский, португальский, русский, китайский, хинди и другие. Предусмотрены автоматическое определение языка и языковое условное управление. Преимуществами являются потоковый режим, заявленная задержка около 0,56 секунды, эффективное использование вычислений и гибкие размеры аудиочанков от 80 до 1120 мс; экспорт оптимизирован для чанка 560 мс. Ограничения включают зависимость качества от языка, акустических условий и размера чанка, а также снижение точности из-за INT4-квантизации по сравнению с исходной моделью, хотя конкретное сравнение в README не приведено. В README указана готовность к коммерческому использованию; в метаданных обозначены лицензии MIT и NVIDIA Open Model License, поэтому условия NVIDIA Open Model License следует учитывать отдельно.

1.9K20июнь 2026ctx1K
textaudiomithugging-face
Reza2kn
openai_whisper-large-v3-NVFP4

Reza2kn/openai_whisper-large-v3-NVFP4 — это посттренировочно квантованная версия модели автоматического распознавания речи openai/whisper-large-v3, разработанная пользователем Reza2kn на базе модели OpenAI. Модель предназначена для преобразования аудиозаписей в текст, прежде всего для распознавания персидской речи. В карточке указаны библиотека Transformers, архитектура Whisper и поддержка сценариев automatic speech recognition. Модель использует формат nvfp4-pack-quantized из compressed-tensors: 4-битные FP4-веса, блочные FP8-масштабы и динамически квантизируемые активации FP4. Квантизированы все Linear-модули encoder и decoder, тогда как lm_head/proj_out сохранены в полной точности. Целевое оборудование — tensor cores NVIDIA Blackwell (sm_100+); веса разворачиваются в bfloat16 во время работы. Калибровка выполнена на 32 персидских аудиоклипах из Reza2kn/persian-asr-eval-v0. На 200 клипах FLEURS-fa модель показала WER 19,74%, CER 6,19%, задержку 3946 мс на клип и пиковое потребление 4285 MiB VRAM. Основное преимущество модели — снижение точности и потенциальных требований к памяти при сохранении возможности использовать архитектуру Whisper large-v3 на совместимом оборудовании. Ограничения включают специализацию представленной оценки на персидском языке, зависимость производительности от NVIDIA Blackwell и отсутствие в README сведений о размере контекста и полном наборе поддерживаемых языков. Распространение указано под Apache License 2.0; модель также наследует лицензию базовой модели, а сторонние уведомления об авторских правах и атрибуции сохраняются.

1.5K0май 2026
textaudioapache-2.0hugging-face
istupakov
parakeet-tdt-0.6b-v3-onnx

ONNX-конверсия мультиязычной модели автоматического распознавания речи NVIDIA Parakeet TDT 0.6B V3. Исходную модель разработала NVIDIA, а конверсию для ONNX и интеграцию с библиотекой onnx-asr подготовил istupakov. Модель предназначена для преобразования речи из аудиофайлов в текст и может использоваться в приложениях транскрибации и других сценариях ASR. Модель имеет размер 0,6 млрд параметров и работает с аудио на входе, возвращая распознанный текст. В README заявлена поддержка английского, испанского, французского, немецкого, болгарского, хорватского, чешского, датского, нидерландского, эстонского, финского, греческого, венгерского, итальянского, латышского, литовского, мальтийского, польского, португальского, румынского, словацкого, словенского, шведского, русского и украинского языков. Формат ONNX позволяет использовать модель через onnx-asr, в том числе с CPU. К сильным сторонам относятся мультиязычность и возможность запуска в ONNX-совместимой инфраструктуре. README не содержит сведений о точности, ограничениях по длительности аудио, требованиях к ресурсам или поддерживаемых форматах помимо примера с WAV-файлом. Модель распространяется по лицензии CC BY 4.0.

75K70авг. 2025
textaudiocc-by-4.0hugging-face
crash-sv
scribe-whisper-turbo-int8

Это версия Whisper large-v3-turbo от OpenAI, преобразованная Viacheslav Smirnov в формат CTranslate2 с квантизацией int8. Модель предназначена для распознавания речи и перевода аудио в текст; её распространяют для загрузки утилитой Scribe SV для диктовки и перевода в Windows, в том числе на компьютерах без CUDA GPU. Ничего не дообучалось: веса напрямую преобразованы из openai/whisper-large-v3-turbo. README приводит замеры на русском аудио: WER составил 4,25% для int8 на CPU против 3,54% для float16 на CUDA. В тех же условиях обработка записи длиной 194 секунды заняла 58,2 секунды на CPU; распознавание коротких фраз длилось около 5 секунд. Модель использует CTranslate2 и распространяется по лицензии MIT с сохранением исходных лицензий.

1820авг. 2026
textaudiomithugging-face
FunAudioLLM
SenseVoiceSmall

SenseVoiceSmall — компактная мультиязычная модель понимания речи из экосистемы FunASR, разработанная командой FunAudioLLM. Она распознаёт речь, определяет язык и эмоции говорящего, а также обнаруживает звуковые события. Для каталога Hugging Face указана основная задача automatic-speech-recognition; модель принимает аудио и формирует текст с результатами распознавания. Модель использует сквозную неавторегрессионную архитектуру и предназначена для распознавания речи с низкой задержкой, в том числе в потоках и на периферийных устройствах. В README заявлена поддержка более 50 языков; среди языков, названных для версии Small, — китайский, кантонский, английский, японский и корейский. Авторы сообщают о высокой скорости вывода и результатах, превосходящих Whisper в ряде сравнений, особенно для китайского и кантонского. Помимо транскрипции, модель умеет распознавать эмоции и распространённые звуковые события, однако классификация событий уступает специализированным моделям. В карточке Hugging Face указана лицензия other; конкретные условия использования следует сверить с лицензией репозитория. Репозиторий также описывает экспортные и развёртываемые варианты, но опубликованные здесь метаданные указывают формат PyTorch.

19K496июль 2024
textaudiootherhugging-face
nvidia
stt_en_conformer_transducer_xlarge

NVIDIA Conformer-Transducer X-Large — англоязычная модель автоматического распознавания речи из семейства Conformer, разработанная NVIDIA и доступная через инструментарий NeMo. Она преобразует монофоническую аудиозапись WAV с частотой 16 кГц в текстовую строку; результат записывается строчными буквами английского алфавита с пробелами и апострофами. Модель использует архитектуру Conformer-Transducer с авторегрессионным декодированием и содержит около 600 млн параметров. Её можно применять для транскрибации аудиофайлов или дообучать на другом наборе данных с помощью NeMo. Модель обучалась на составном наборе из нескольких тысяч часов английской речи, включающем Librispeech, Fisher, Switchboard, Common Voice и другие корпуса. Модель подходит для транскрибации английской речи, но качество может снижаться на технической лексике, незнакомом просторечии и речи с акцентом. Лицензия — CC BY 4.0; при использовании необходимо соблюдать её условия.

90259июнь 2022
textaudiocc-by-4.0hugging-face
maqsudxo1ja
uz-whisper-small-stt-v2

Uzbek Whisper Small STT v2 — модель автоматического распознавания речи на узбекском языке, созданная на основе Whisper Small и дообученная на Mozilla Common Voice 26. В README указаны три эпохи обучения и 9 195 шагов оптимизации; оценка проводилась на узбекской тестовой выборке Common Voice 26. Модель предназначена для преобразования узбекской речи в текст. Файлы основной ветки представлены в формате CTranslate2 FP16 для запуска через faster-whisper; это не стандартный чекпойнт Transformers. README не сообщает лицензию. Точность может снижаться на записях с шумом, другими микрофонами, стилями речи и диалектами, а также на аудио, отличном от Mozilla Common Voice. Перед развёртыванием рекомендуется проверить модель на характерных для приложения записях.

393июль 2026
textaudiohugging-face
cahya
wav2vec2-base-turkish-cv7

cahya/wav2vec2-base-turkish-cv7 — модель распознавания турецкой речи, разработанная Cahya и дообученная на наборе MOZILLA-FOUNDATION/COMMON_VOICE_7_0 - TR. Она использует архитектуру wav2vec2 с CTC-декодером и содержит 113,3 млн параметров. Модель принимает аудио и выдаёт распознанный текст на турецком языке. На оценочной выборке указаны loss 0,2893 и WER 0,2713. Модель подходит для транскрибации турецкой речи, в том числе записей, похожих по условиям на Common Voice. Доступна по лицензии Apache-2.0.

2840март 2022
textaudioapache-2.0hugging-face
jonatasgrosman
wav2vec2-large-english

jonatasgrosman/wav2vec2-large-english — модель распознавания английской речи, дообученная Jonatas Grosman на основе facebook/wav2vec2-large. Она использует архитектуру Wav2Vec2 с CTC-выходом и содержит 402,7 млн параметров. Модель преобразует аудиозаписи в текст и рассчитана на английскую речь; входной звук должен быть дискретизирован с частотой 16 кГц. Модель подходит для транскрибирования английской речи, в том числе записей, похожих на примеры из Common Voice 6.1. В оценке на тестовых данных Common Voice автор сообщает WER 21,53% и CER 9,66%; результаты зависят от данных и способа оценки. Для использования опубликована лицензия Apache-2.0.

415март 2022
textaudioapache-2.0hugging-face
jonatasgrosman
wav2vec2-large-xlsr-53-italian

Модель jonatasgrosman/wav2vec2-large-xlsr-53-italian — версия wav2vec 2.0 XLSR-53, дообученная Jonatas Grosman для распознавания итальянской речи. Она принимает аудио и преобразует его в текст; модель обучалась на обучающей и валидационной выборках Common Voice 6.1 и предназначена для автоматического распознавания речи на итальянском языке. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Для входной речи требуется частота дискретизации 16 кГц; распознавание возможно без отдельной языковой модели. Репозиторий содержит веса PyTorch и Flax. Модель подходит для транскрибирования записей и оценки систем распознавания итальянской речи. Качество зависит от акустических условий и соответствия речи обучающим данным; README приводит наборы для оценки, но не сообщает численных результатов. Лицензия — Apache-2.0.

31K14март 2022
textaudioapache-2.0hugging-face
jonatasgrosman
wav2vec2-large-xlsr-53-portuguese

Это модель автоматического распознавания речи на португальском языке, разработанная Jonatas Grosman. Она дообучена на базе facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1 и предназначена для преобразования португалоязычной речи в текст. Модель использует архитектуру Wav2Vec2ForCTC семейства wav2vec2 и содержит 402,7 млн параметров. Для распознавания подавайте аудио с частотой дискретизации 16 кГц. Модель можно применять для транскрибации записей и речевых данных; в README также приведены сценарии оценки на тестовой выборке Common Voice 6.0 и данных speech-recognition-community-v2. Указана лицензия Apache-2.0.

4.9M69март 2022
textaudioapache-2.0hugging-face
gmihaila
wav2vec2-large-xlsr-53-romanian

Wav2Vec2-Large-XLSR-53-Romanian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на румынском языке с использованием Common Voice. Она принимает аудиозапись речи с частотой дискретизации 16 кГц и преобразует её в текст; модель можно применять напрямую, без отдельной языковой модели. Архитектура — Wav2Vec2ForCTC, число параметров — 402,7 млн. В карточке приведён результат оценки 28,43% на тестовой части Common Voice, но метрика не уточнена. Модель распространяется под лицензией Apache-2.0; доступны веса в форматах PyTorch и Flax.

4122март 2022
textaudioapache-2.0hugging-face
anton-l
wav2vec2-large-xlsr-53-russian

anton-l/wav2vec2-large-xlsr-53-russian — модель распознавания русской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной частях Common Voice. Она принимает аудио и преобразует речь в текст; для входного сигнала требуется частота дискретизации 16 кГц. Архитектура — Wav2Vec2ForCTC семейства wav2vec2, размер — 402,7 млн параметров. Доступны веса в форматах PyTorch и Flax. Модель подходит для транскрибации русской речи и оценки систем распознавания на тестовых данных Common Voice. В README приведён результат тестирования 17,39 %, но метрика не названа. Модель распространяется по лицензии Apache-2.0.

3295март 2022
textaudioapache-2.0hugging-face
ozcangundes
wav2vec2-large-xlsr-53-turkish

Wav2Vec2-Large-XLSR-53-Turkish — модель распознавания речи, дообученная автором ozcangundes на базе facebook/wav2vec2-large-xlsr-53 на турецких данных Common Voice. Она принимает аудио и преобразует речь в текст; для входной записи требуется частота дискретизации 16 кГц. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель предназначена для автоматической транскрибации турецкой речи. В карточке приведён результат 29,62 % на тестовых данных Common Voice, но метрика не уточнена. Веса доступны в формате PyTorch, лицензия — Apache-2.0.

1.2K1март 2022
textaudioapache-2.0hugging-face
dbdmg
wav2vec2-xls-r-300m-italian-robust

dbdmg/wav2vec2-xls-r-300m-italian-robust — акустическая модель распознавания итальянской речи, дообученная на базе facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Для обучения использованы итальянские части наборов Common Voice 7.0, LibriSpeech multilingual, TED multilingual, Voxforge, M-AILABS, EuroParl-ST, EMOVO и MSPKA. Модель принимает аудио и преобразует речь в текст; карточка не описывает дополнительные режимы работы или длину контекста. Репозиторий предоставляет веса PyTorch и Safetensors. Лицензия — Apache 2.0.

480март 2022
textaudioapache-2.0hugging-face
YazanSalameh
Whisper-base-Arabic

YazanSalameh/Whisper-base-Arabic — дообученная модель OpenAI Whisper Base для автоматического распознавания арабской речи и преобразования аудио в текст. Она основана на архитектуре Whisper с 51,7 млн параметров и распространяется в формате safetensors по лицензии Apache-2.0. Модель обучалась на арабских данных Common Voice 16.0, MGB-2 и Jordan-Audio. В карточке приведён результат на оценочной выборке: WER 34,7 и loss 0,44; для проверки использовались 600 примеров из трёх наборов данных. Оценка ограничена небольшим объёмом выборки, а автор предлагает подбирать способ интерпретации точности самостоятельно.

224янв. 2024ctx448
textaudioapache-2.0hugging-face
sarpba
whisper-base-hungarian_v1

Это дообученная модель автоматического распознавания речи на основе OpenAI Whisper Base, подготовленная sarpba для транскрибирования венгерской речи. Модель содержит 51,7 млн параметров и обучена на собственном наборе sarpba/big_audio_data_hun; в README указано около 1200 часов отобранных венгерских аудиозаписей. Для оценки автор приводит результаты на венгерских наборах FLEURS и Common Voice 17.0. Модель принимает аудио и генерирует текстовую транскрипцию на венгерском языке. Автор сообщает о свободном использовании в личных целях на условиях исходной лицензии Whisper, но запрещает коммерческое использование этого дообучения без согласия автора.

3110окт. 2024ctx1K
textaudiohugging-face
arun100
whisper-base-tr-1

Whisper Base Turkish — дообученная модель OpenAI Whisper Base, созданная для распознавания турецкой речи в аудио. Она содержит 51,7 млн параметров и основана на архитектуре Whisper с генерацией последовательностей; обучалась на турецкой части датасета Mozilla Common Voice 16.0. Модель принимает аудио и выдаёт распознанный текст на турецком языке. На тестовой выборке указаны loss 0,4280 и WER 30,3627. Модель подходит для транскрибации турецкой речи, однако точность может зависеть от качества записи, акцента и условий записи. Распространяется по лицензии Apache-2.0.

80янв. 2024ctx1K
textaudioapache-2.0hugging-face
Trendency
whisper-large-v3-hu

Trendency/whisper-large-v3-hu — дообученная Trendency на открытых речевых данных версия Whisper large-v3 от OpenAI, ориентированная прежде всего на распознавание венгерской речи. Это мультиязычная модель автоматического распознавания речи с архитектурой WhisperForConditionalGeneration и примерно 905,2 млн параметров; она принимает аудио и выдаёт текст. Для длинных записей требуется обработка фрагментами, поскольку рецептивное поле модели составляет 30 секунд; для запуска автор рекомендует faster-whisper. Модель предназначена для транскрибации венгерской речи, включая записи из Common Voice, VoxPopuli и других речевых наборов. В README сообщается о среднем WER 11,26 на указанных срезах Common Voice и об улучшении относительно базовой модели на венгерских данных, но также о возможном снижении качества на других языках. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Как и другие версии Whisper, модель может ошибочно добавлять текст, которого нет в аудио, повторять фрагменты и показывать неодинаковую точность для разных языков, акцентов и диалектов. README указывает, что при обучении использовались также обучающие, тестовые и валидационные части наборов данных, поэтому приведённые оценки следует интерпретировать с учётом этого обстоятельства.

5815май 2025
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей