/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
3 961–3 990 из 4 835
sam8000
whisper-large-v3-turbo-greek-greece

Модель sam8000/whisper-large-v3-turbo-greek-greece — дообученная на датасете FLEURS версия мультиязычной Whisper Large-v3-Turbo от OpenAI. Это модель распознавания речи, которая принимает аудио и преобразует его в текст. В метаданных указана архитектура WhisperForConditionalGeneration, библиотека Transformers и размер около 905,2 млн параметров. Название модели указывает на настройку для греческого языка в Греции; README также приводит метрики оценки на тестовом наборе: WER 11,0591 и WER Ortho 26,8701. Лицензия — MIT. README не содержит дополнительных сведений о сценариях применения или ограничениях.

5004май 2025
textaudiomithugging-face
selimc
whisper-large-v3-turbo-turkish

Whisper Large v3 Turbo TR — модель распознавания речи, разработанная Selim Çavaş и дообученная на базе openai/whisper-large-v3-turbo на турецкой части Common Voice 17.0. Она принимает аудио и преобразует турецкую речь в текст; подходит для расшифровки записей, голосовых команд и создания субтитров к видео на турецком языке. Модель построена на архитектуре WhisperForConditionalGeneration и содержит около 905,2 млн параметров. Для обучения использовали 25% доступных турецких данных Common Voice 17.0; на тестовой выборке указаны Loss 0,3123 и WER 18,9229. Распространяется по лицензии MIT.

58722окт. 2024
textaudiomithugging-face
makhataei
Whisper-Small-Common-Voice

Whisper Small Persian — модель распознавания речи, созданная дообучением Whisper Small на датасете Common Voice 17.0. Она принимает аудио и генерирует текстовую расшифровку, в первую очередь на персидском языке. В модели около 153,1 млн параметров; архитектура основана на WhisperForConditionalGeneration, веса опубликованы в формате safetensors. На оценочной выборке указаны loss 0,7217 и WER 45,6220. Лицензия в предоставленных данных не описана.

132нояб. 2023ctx1K
textaudiohugging-face
openai
whisper-small.en

Whisper small.en — англоязычная модель распознавания речи от OpenAI, представленная в семействе Whisper. Это Transformer-модель типа encoder-decoder с архитектурой sequence-to-sequence и 153,1 млн параметров. Она принимает аудио и преобразует английскую речь в текст; для длинных записей транскрибирование можно выполнять с разбиением аудио на фрагменты, а при соответствующей настройке получать временные метки. Модель обучена на размеченных аудиоданных в рамках семейства Whisper и рассчитана на распознавание английской речи, в том числе в условиях акцентов, фонового шума и специальной лексики. Репозиторий предоставляет веса в форматах PyTorch, TensorFlow и Flax, включая safetensors. Лицензия — Apache-2.0. Транскрипции могут содержать слова, которых нет в аудио; возможны повторения и ошибки распознавания. Качество зависит от акустических условий и разновидности английского; эта англоязычная версия не предназначена для многоязычного распознавания или перевода речи.

132K75сент. 2022ctx1K
textaudioapache-2.0hugging-face
biodatlab
whisper-th-small-combined

Whisper Small (Thai): Combined V4 — модель распознавания речи на основе архитектуры Whisper, дообученная BioDataLab для транскрибирования тайской речи. Она предназначена для преобразования аудио на тайском языке в текст и может применяться для расшифровки записей и голосовых данных. В README указана оценка WER 13,14 на тестовой части Common Voice 13 с токенизатором Deepcut; для обучения использовались дополненные данные Common Voice 13, FLEURS и курируемые наборы данных. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и библиотеку Transformers. Лицензия — Apache-2.0. Метаданные связывают её с openai/whisper-small, тогда как README называет базовой моделью openai/whisper-medium; поэтому точное происхождение по этим источникам не согласуется.

7992дек. 2022ctx1K
textaudioapache-2.0hugging-face
hypaai
wspr_small_2025-11-11_12-12-17

Модель hypaai/wspr_small_2025-11-11_12-12-17 — дообученная версия мультиязычной Whisper Small от OpenAI, разработанная hypaai. Она предназначена для автоматического распознавания речи и транскрибирования аудио. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и доступна в формате Safetensors для библиотеки Transformers. В тегах карточки указаны йоруба, английский и хауса; метаданные также отмечают игбо. Эти языки можно считать поддерживаемыми, хотя описание обучения не раскрывает данные и результаты оценки. Модель распространяется по лицензии Apache-2.0.

3840нояб. 2025ctx1K
textaudioapache-2.0hugging-face
polodealvarado
xls-r-300m-es

Wav2Vec2-XLSR-300m-es — модель распознавания испанской речи, созданная polodealvarado путём дообучения facebook/wav2vec2-xls-r-300m на испанской части Common Voice 8.0. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на испанском языке в текст. На оценочной выборке автор сообщает WER 0,146 без языковой модели и WER 0,109 с пятиграммовой языковой моделью; CER с ней составляет 0,036. Репозиторий включает PyTorch-веса и процессор с конфигурацией для пятиграммной языковой модели. Модель распространяется по лицензии Apache 2.0. Результаты приведены для Common Voice 8.0; точность на других типах записей и в иных акустических условиях может отличаться.

134март 2022
textaudioapache-2.0hugging-face
shpotes
xls-r-et

shpotes/xls-r-et — модель распознавания речи на основе архитектуры Wav2Vec2, дообученная автором на facebook/wav2vec2-xls-r-300m для эстонского языка на наборе MOZILLA-FOUNDATION/COMMON_VOICE_7_0. Модель принимает аудио и преобразует речь в текст; она предназначена для автоматической транскрибации эстонской речи. В репозитории указаны 402,7 млн параметров и веса PyTorch. На оценочной выборке Common Voice 7.0 для эстонского языка приведены Loss 0,4835 и WER 0,3475. Модель распространяется по лицензии Apache-2.0.

250март 2022
textaudioapache-2.0hugging-face
kiranpantha
10epochs-w2v-bert-2.0-nepali-unlabeled-1

Это модель автоматического распознавания непальской речи, разработанная Kiran Pantha. Она дообучена на базе kiranpantha/w2v-bert-2.0-nepali на сбалансированном наборе аудиоданных OpenSLR54-Balanced-Nepali и использует архитектуру Wav2Vec2-BERT с CTC-декодированием. Модель принимает аудио и преобразует речь в текст; число параметров — около 402,7 млн. В карточке приведены результаты оценки: WER 0,3612 и CER 0,0805. Модель подходит для транскрибирования записей на непальском языке. Указана лицензия MIT. README не описывает дополнительные сценарии, условия записи или известные ограничения.

90окт. 2024
textaudiomithugging-face
mistral-experimental
AudioCPP-Voxtral-Mini-4B-Realtime-2602-GGUF

AudioCPP-Voxtral-Mini-4B-Realtime-2602-GGUF — репозиторий с квантованными GGUF-чекпойнтами модели Voxtral Mini 4B Realtime для автоматического распознавания речи. Чекпойнты предназначены для запуска через C++/GGML-фреймворк audio.cpp, разработанный проектом 0xShug0, и содержат встроенную спецификацию модели и необходимые дополнительные компоненты. Репозиторий поддерживается пространством mistral-experimental; исходный разработчик базовой модели в README явно не указан. Модель рассчитана на офлайн- и потоковое ASR, включая локальное распознавание речи через CLI и серверные интерфейсы audio.cpp. Доступны варианты Q8_0 размером около 4,8 GiB и Q4_K размером около 2,9 GiB. Q8_0 позиционируется как сбалансированный вариант с высоким качеством и меньшим потреблением памяти по сравнению с BF16, а Q4_K — как более компактный и быстрый вариант, качество которого рекомендуется проверять на конкретной предметной области. В README не указаны поддерживаемые языки, точные параметры архитектуры, модальности кроме аудио и размер контекста. По приведённым CUDA-измерениям Q8_0 обеспечивает около 14,7–16,7-кратной скорости реального времени в офлайн-режиме и примерно 5,4-кратной скорости в потоковом режиме, снижая пиковое потребление VRAM относительно BF16. Q4_K в тестах был ещё быстрее, а расшифровки почти полностью совпали с Q8_0, однако результаты зависят от GPU, драйверов, backend, длины аудио и настроек декодирования. Для работы требуется audio.cpp с подходящим backend, например CUDA, Metal, Vulkan или CPU. Лицензия в README не указана.

7914июль 2026
textaudiohugging-face
handy-computer
canary-1b-flash-gguf

canary-1b-flash-gguf — это GGUF-конверсия модели NVIDIA Canary 1B Flash, подготовленная handy-computer для использования с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и перевода аудио в текст. Она принимает монофонические WAV-файлы с частотой 16 кГц и поддерживает автоматическое распознавание речи на английском, немецком, испанском и французском языках, а также двунаправленный перевод между английским и немецким, испанским или французским языком. Модель содержит около 883 млн параметров и использует архитектуру encoder-decoder: 32-слойный энкодер FastConformer и 4-слойный Transformer-декодер. Доступны варианты с квантованием F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 677 МБ до 3,56 ГБ. На тесте LibriSpeech test-clean заявленная WER составляет около 1,59–1,65% в зависимости от варианта. Модель поддерживает перевод, но не работает в потоковом режиме; в данной версии временные метки слов и сегментов недоступны, а автоматическое определение языка не поддерживается. Модель подходит для локальных и ресурсоограниченных сценариев распознавания речи и перевода без внешнего языкового сервиса. Квантованные варианты снижают требования к памяти при небольшом изменении качества, однако фактическая скорость зависит от оборудования и используемого backend. Распространяется по лицензии CC-BY-4.0, унаследованной от базовой модели, и допускает коммерческое использование согласно указанным условиям.

32K0май 2026
textaudiocc-by-4.0hugging-face
mlx-community
Fun-ASR-Nano-2512-8bit

Fun-ASR-Nano-2512-8bit — конвертированная в формат MLX 8-битная версия многоязычной модели распознавания речи Fun-ASR-Nano-2512 от FunAudioLLM. Репозиторий подготовлен mlx-community с помощью mlx-audio-plus версии 0.1.4; метаданные указывают семейство FunASR и плотную архитектуру. Модель принимает речь и преобразует её в текст, поддерживает более 13 языков, прямой перевод речи на английский и подсказки с предметным контекстом. В README также описан потоковый вывод, а базовая модель предназначена для распознавания диалектов, акцентов и речи на фоне музыки. Лицензия в предоставленных данных не указана.

1151дек. 2025ctx131.1K
textaudiohugging-face
Chenchuhui
Icelandic-finetuned-no-data-augmentation

Chenchuhui выпустил модель автоматического распознавания исландской речи, дообученную на базе carlosdanielhernandezmena/wav2vec2-large-xlsr-53-icelandic-ep10-1000h. Это плотная архитектура wav2vec 2.0 с классом Wav2Vec2ForCTC и 402,7 млн параметров; модель принимает аудио и выдаёт распознанный текст. В метаданных указан формат safetensors и лицензия CC BY 4.0. На оценочном наборе указаны loss 0,1262 и WER 0,1544. Карточка не раскрывает состав обучающих данных и подробности оценки, поэтому эти результаты не позволяют судить о качестве на других аудио и условиях записи.

110дек. 2023
textaudiocc-by-4.0hugging-face
Anshul1212
indicconformer-hi-hybrid-rnnt-large-hf

Это совместимая с Hugging Face Transformers версия модели AI4Bharat IndicConformer для автоматического распознавания речи. Репозиторий основан на ai4bharat/indicconformer_stt_hi_hybrid_ctc_rnnt_large и адаптирует модель для использования со стандартными средствами Transformers вместо NeMo. Архитектура относится к семейству IndicConformer; метаданные указывают класс IndicConformerForCTC и форматы весов Safetensors. Модель преобразует аудиозаписи речи в текст и рассчитана на языки Индии. README перечисляет хинди, телугу, бенгальский, тамильский, гуджарати и малаялам; теги метаданных содержат также ассамский, каннада, маратхи, ория, пенджаби, урду, непали, санскрит и другие языки региона. Для обучения указаны наборы Shrutilipi и Bhashini. Репозиторий распространяется по лицензии Apache-2.0. Число параметров в предоставленных данных отсутствует; заявленный контекст — 5000 токенов.

3501дек. 2025ctx5K
textaudioapache-2.0hugging-face
dianavdavidson
indic_whisper_hi_multi_gpu_iv_hindi_vaani_62836_ratio_alldata_lr_1e-4_lgid_None_mixratio_0.25_FT

Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка сообщает о дообучении на наборе данных, обозначенном как None. На оценочном наборе указаны loss 0,5552 и Global WER 22,7742. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через библиотеку Transformers. Метаданные базовой модели подтверждают поддержку хинди. Лицензия — MIT. Карточка не описывает дополнительные ограничения или сценарии использования.

1080сент. 2026ctx1K
textaudiomithugging-face
mesolitica
malaysian-whisper-tiny

mesolitica/malaysian-whisper-tiny — дообученная компанией Mesolitica модель Whisper Tiny для распознавания малайской и английской речи. Она предназначена для транскрибирования стандартного и местного вариантов малайского языка, а также стандартного английского и Manglish — разговорной смеси малайского и английского. В карточке перечислены обучающие данные IMDA STT, корпуса малайской разговорной речи, псевдоразметка видео и аудиокниг, а также частный набор Haqkiem TTS Dataset. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 29,4 млн параметров и принимает аудио, выдавая распознанный текст. Для аудио длиннее 30 секунд README рекомендует разбивать запись на фрагменты и распознавать их отдельно. Модель опубликована в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

1831янв. 2024ctx1K
textaudiohugging-face
BuzzASR
maltese

BuzzASR/maltese — одномовная модель автоматического распознавания речи на мальтийском языке, разработанная как часть набора BuzzASR и дообученная на базе OpenAI Whisper large-v3. Это плотная модель архитектуры Whisper с примерно 905,2 млн параметров; она принимает аудио и выдаёт текстовую транскрипцию. Языковая и задачная подсказка уже задана в конфигурации генерации, поэтому отдельно передавать язык не требуется. Модель предназначена для транскрибации мальтийской речи. В тестах на FLEURS и Common Voice 25 показала CER 6,15% и WER 25,33% на FLEURS, CER 0,72% и WER 3,49% на Common Voice, а на объединённом наборе — CER 2,66% и WER 11,28%. Обучение включало FLEURS, Common Voice Corpus 25.0 и текстовые данные Goldfish. Лицензия — MIT. Модель рассчитана только на мальтийский язык. Результаты оценены на тестовых разбиениях FLEURS и Common Voice; качество на других тематиках, записях и диалектах может отличаться.

1760сент. 2026
textaudiomithugging-face
littlebearlabs
Mega-ASR-MLX-int8

Mega-ASR-MLX-int8 — сборка Mega-ASR в формате MLX от littlebearlabs, созданная на основе mlx-community/Mega-ASR-MLX-bf16 и предназначенная для распознавания речи на устройствах Apple Silicon. Mega-ASR повышает устойчивость Qwen3-ASR-1.7B: аудиомаршрутизатор определяет, чистая ли запись или ухудшенная, и при необходимости подключает LoRA-адаптер во время инференса. 344 линейные проекции аудиоэнкодера и текстового декодера квантизированы в int8 с размером группы 64; фронтенд, нормализации, маршрутизатор и LoRA-адаптер сохранены в bf16. Упакованные веса загружаются напрямую через native loader mlx-mega-asr без квантизации при запуске. Репозиторий содержит токенизатор Qwen2 BPE. README сообщает о близком качестве int8 и bf16 на LibriSpeech test-clean, однако проверка охватывает только 20 файлов. Модель основана на Qwen3-ASR-1.7B, для которой в карточке указаны английский и китайский языки. Лицензия — Apache-2.0.

160июнь 2026ctx131.1K
textaudioapache-2.0hugging-face
nvidia
nemotron-speech-streaming-en-0.6b

Nemotron-ASR-Streaming — англоязычная модель автоматического распознавания речи, разработанная NVIDIA. Она преобразует аудиосигнал в текст и предназначена для потоковой транскрибации с низкой задержкой, а также для высокопроизводительной пакетной обработки аудио. Модель содержит около 600 миллионов параметров и использует архитектуру Cache-Aware FastConformer-RNNT. Кэширование контекста позволяет обрабатывать только новые фрагменты аудио без повторных вычислений для перекрывающихся участков. Поддерживаются настраиваемые размеры потоковых фрагментов 80, 160, 560 и 1120 мс, а также пунктуация и капитализация. Модель распознаёт английскую речь и формирует текст с использованием английских букв, пробелов и апострофов. Она обучалась преимущественно на американской английской речи объёмом около 250 000 часов. Сильными сторонами модели являются потоковая обработка, низкая задержка, вычислительная эффективность и заявленная устойчивость к разнообразным акустическим условиям. В README приведены значения WER на нескольких наборах данных: от 2,32% на LibriSpeech test-clean до 12,52% на Earnings22 при размере фрейма 1,12 секунды. Ограничение модели — поддержка только английского языка; характеристики для других языков не заявлены. Модель распространяется по лицензии NVIDIA Open Model License.

250K638дек. 2025
textaudiootherhugging-face
mlx-community
parakeet-tdt_ctc-0.6b-ja

Это версия модели распознавания речи NVIDIA Parakeet TDT-CTC 0.6B для MLX, подготовленная сообществом mlx-community из репозитория nvidia/parakeet-tdt_ctc-0.6b-ja. Она преобразована для запуска с библиотекой MLX на совместимом оборудовании Apple и предназначена для преобразования японской речи в текст с пунктуацией. Модель относится к семейству FastConformer/Conformer и принимает аудио, выдавая текстовую транскрипцию. Репозиторий распространяется по лицензии CC BY 4.0; подробности о качестве распознавания и ограничениях следует сверять с карточкой исходной модели.

3.6K9май 2025
textaudiocc-by-4.0hugging-face
gigant
romanian-wav2vec2

gigant разработал румынскую модель распознавания речи на основе facebook/wav2vec2-xls-r-300m, дообучив её на румынской части Common Voice 8.0 и дополнив данными из набора синтезированной румынской речи. Это модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC; число параметров — около 402,7 млн. Для декодирования с языковой моделью предусмотрена 5-граммовая модель, обученная на корпусе парламентских текстов Румынии. Модель предназначена для транскрибации румынской речи из аудиоклипов с частотой дискретизации 16 кГц. В README указано первое место на Romanian Speech Recognition в Robust Speech Challenge; на тестовой части Common Voice 8.0 приведены WER 0,1174 и CER 0,0294 без оптимизации 5-граммовой языковой моделью. Вывод приводится в нижнем регистре и без пунктуации. Для декодирования с языковой моделью нужны pyctcdecode и kenlm. Лицензия — Apache-2.0.

1.2M18март 2022
textaudioapache-2.0hugging-face
bond005
ruT5-ASR

ruT5-ASR — русскоязычная модель коррекции распознанной речи, обученная bond005 на основе ruT5-base. Она исправляет ошибки в тексте, полученном системами автоматического распознавания речи, в частности Wav2Vec2-Large-Ru-Golos, и может работать как отдельная модель преобразования последовательностей: на вход получает черновую транскрипцию и возвращает исправленный текст. Модель построена на архитектуре T5, содержит 123,8 млн параметров и имеет контекст до 512 токенов. Она обучалась на обучающей части набора SberDevices Golos; оценивалась на тестовых частях Golos, русской части Common Voice 6.0 и Russian Librispeech. В приведённом сравнении эффект коррекции различается по наборам данных: на SOVA RuDevices ошибка снизилась, а на Voxforge Ru и Russian Librispeech выросла. Модель предназначена для работы с русскими транскрипциями и не распознаёт аудио напрямую. Распространяется в формате PyTorch по лицензии Apache-2.0.

2856апр. 2023ctx512
textapache-2.0hugging-face
SLPL
Sharif-wav2vec2

SLPL/Sharif-wav2vec2 — модель распознавания речи на основе архитектуры Wav2Vec2, дообученная авторами для персидского языка (фарси). Для адаптации использованы 108 часов персидских записей Common Voice 6.1 с частотой дискретизации 16 кГц. Модель принимает аудио и преобразует речь в текст; для повышения точности в сценариях распознавания авторы также обучили 5-граммную языковую модель KenLM и подключили её через процессор декодирования. Модель предназначена для транскрибации персидской речи. В оценке на Common Voice 6.1 указана частота ошибок слов WER 0,06 на очищенной выборке и 0,16 на выборке other. Для входной речи требуется частота дискретизации 16 кГц. Весовая модель опубликована в формате PyTorch, содержит около 402,7 млн параметров и распространяется по лицензии MIT.

10917июнь 2022
textaudiomithugging-face
lemuralabs
tamil-asr-qwen3

Tamil ASR Qwen3 — модель распознавания речи, разработанная LemuraLabs и дообученная на базе Qwen/Qwen3-ASR-1.7B для транскрибации тамильской речи. Это генеративная ASR-архитектура с аудиоэнкодером и декодером Qwen3 на 1,7 млрд параметров; принимает монофоническое аудио с частотой 16 кГц и выдаёт текст на тамильском языке. Для декодирования автор рекомендует beam search с пятью лучами. Модель предназначена для расшифровки разговорной и прочитанной речи, голосовых интерфейсов, создания субтитров и автоматизированных конвейеров транскрибации. На тестовой части FLEURS-Tamil автор сообщает WER 25,27% и CER 7,95% на 586 клипах; результаты заявлены как лучшие относительно указанных в карточке IndicConformer-600M и Whisper-large-v3 при общей нормализации текста. Модель обучалась примерно на 1 475 часах тамильской речи из IndicVoices, Shrutilipi и Kathbath. Она ориентирована только на тамильский язык; качество может снижаться на сильно зашумлённой, удалённой или смешанной по языкам речи, а также зависеть от диалекта, предметной области и характеристик диктора. Лицензия — Apache-2.0.

4113июль 2026ctx131.1K
textaudioapache-2.0hugging-face
Koyiljon
uzbek_stt_v1

Карточка модели Koyiljon/uzbek_stt_v1 на Hugging Face совпадает с карточкой Kotib/uzbek_stt_v1, поэтому описание составлено по ней. Kotib/uzbek_stt_v1 — модель автоматического распознавания речи, разработанная командами Kotibai и Rubai и дообученная на базе OpenAI Whisper Medium. Она принимает аудио и преобразует узбекскую речь в текст; модель рассчитана прежде всего на узбекский язык и латинскую письменность, включая некоторые русские заимствования, произнесённые в узбекской речи. Архитектура Whisper, 455,8 млн параметров; модель использует формат safetensors и библиотеку Transformers. Для обучения использовали около 1 600 часов узбекского аудио, а оценку провели на 1 864 примерах из восьми тестовых наборов. В карточке указана общая доля ошибок WER 16,7%; на чистой речи — около 6–11%, на шумной или дополненной — около 12–24%. Модель подходит для расшифровки речи, диктовки, голосовых помощников и создания субтитров. Качество снижается при сильном шуме и частом переключении между языками; модель оптимизирована для узбекского. Лицензия — Apache-2.0.

1780апр. 2026ctx1K
textaudioapache-2.0hugging-face
Jinstudio
Voxtral-Mini-4B-Realtime-2602

Карточка модели Jinstudio/Voxtral-Mini-4B-Realtime-2602 на Hugging Face совпадает с карточкой mistralai/Voxtral-Mini-4B-Realtime-2602, поэтому описание составлено по ней. Voxtral Mini 4B Realtime 2602 — мультиязычная модель распознавания речи в реальном времени от Mistral AI. Это плотная модель семейства Voxtral Realtime с архитектурой VoxtralRealtimeForConditionalGeneration, дообученная на базе mistralai/Ministral-3-3B-Base-2512. Веса представлены в safetensors; для запуска поддерживается vLLM, а Transformers поддерживает модель начиная с версии 5.2.0. Модель предназначена для потоковой транскрипции аудио с небольшой задержкой. README рекомендует задержку 480 мс; указана поддержка английского, французского, испанского, немецкого, русского, китайского, японского, итальянского, португальского, нидерландского, арабского, хинди и корейского языков. По описанию, при настройках vLLM по умолчанию контекст позволяет обрабатывать аудио продолжительностью примерно до трёх часов, хотя практический предел зависит от выделенной памяти и параметров запуска. Модель показывает конкурентные результаты среди систем транскрипции реального времени, но в приведённом сравнении Fleurs уступает офлайн-модели Voxtral Mini Transcribe 2.0. Для работы с потоковым аудио рекомендуются веб-сокеты; запуск через vLLM требует GPU с памятью не менее 16 ГБ. Архитектура пока имеет ограниченную поддержку в программных инструментах: README отмечает поддержку vLLM и Transformers, а запуск через ExecuTorch обозначен как непроверенный. Лицензия — Apache-2.0.

200июль 2026
textaudioapache-2.0hugging-face
Alvenir
wav2vec2-base-da-ft-nst

Alvenir/wav2vec2-base-da-ft-nst — модель распознавания датской речи, разработанная Alvenir. Это версия wav2vec2-base, дообученная на открытом датасете NST для преобразования аудио в текст; архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров. Модель ожидает аудио с частотой дискретизации 16 кГц и поддерживает датский язык. В README приведены результаты оценки на датских наборах данных: WER 15,8% на тестовой части NST и 26,3% на тесте Common Voice 80; применение 3-граммовой языковой модели снижает эти показатели до 11,9% и 19,2% соответственно. Модель подходит для транскрибации датской речи, однако качество зависит от набора данных и может улучшаться внешней языковой моделью. Лицензия — Apache-2.0.

6283март 2022
textaudioapache-2.0hugging-face
nguyenvulebinh
wav2vec2-base-vi-vlsp2020

Модель nguyenvulebinh/wav2vec2-base-vi-vlsp2020 — акустическая модель распознавания вьетнамской речи на архитектуре wav2vec2, представленная автором репозитория. Она предварительно обучена на 13 тысячах часов неразмеченной вьетнамской речи из YouTube, а затем дообучена на 250 часах размеченных данных VLSP ASR. Модель содержит 113,3 млн параметров и принимает речь с частотой дискретизации 16 кГц. Модель предназначена для преобразования вьетнамской речи в текст. В тесте VLSP T1 автор сообщает WER 8,66 без языковой модели и 6,53 с 5-граммовой языковой моделью. Эти результаты относятся к указанному тестовому набору и не гарантируют такое же качество на других типах аудио. Для использования модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое применение.

770K11нояб. 2022
textaudiocc-by-nc-4.0hugging-face
alvanlii
wav2vec2-BERT-cantonese

alvanlii/wav2vec2-BERT-cantonese — дообученная модель распознавания речи на основе facebook/w2v-bert-2.0, разработанная Alvin. Она преобразует аудио на кантонском языке в текст и предназначена для автоматической транскрипции речи. Модель основана на архитектуре Wav2Vec2-BERT и содержит 405,4 млн параметров. Для обучения использовались наборы Common Voice 16 на кантонском и китайском языках Гонконга, CantoMap и Cantonese-ASR. На тестовой части Common Voice 16 для кантонского языка автор сообщает CER 10,27 без учёта пунктуации. Модель рассчитана на распознавание кантонской речи; приведённый результат относится к конкретному тестовому набору и не гарантирует такое же качество на других аудиозаписях. Распространяется по лицензии Apache-2.0.

3.7K6янв. 2024
textaudioapache-2.0hugging-face
RuudVelo
wav2vec2-large-xls-r-300m-cv8-nl

RuudVelo разработал эту модель распознавания нидерландской речи, дообучив facebook/wav2vec2-xls-r-300m на Common Voice 8.0. Это плотная модель архитектуры wav2vec2 с CTC-выходом и примерно 402,7 млн параметров; для декодирования также обучена и использована языковая модель KenLM с 6-граммами. Модель предназначена для преобразования нидерландской речи в текст, в частности для аудиозаписей, подобных материалам Common Voice. Обучение проводилось 75 эпох на обучающей части Common Voice 8.0; тестовая выборка Common Voice 8.0 не использовалась для обучения или валидации. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

100март 2022
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей