/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
4 381–4 410 из 4 835
IonGrozea
whisper-base_ro-80mel

Модель IonGrozea/whisper-base_ro-80mel — версия OpenAI Whisper Base, дообученная на объединённом корпусе румынской речи объёмом около 445 часов. Она предназначена для автоматического распознавания речи и преобразования аудио в текст на румынском языке. Модель использует архитектуру Whisper и 80-канальные мел-спектрограммы; содержит 51,7 млн параметров. Валидация на 25 348 примерах общей длительностью 52,75 часа показала WER 0,1483 и CER 0,048 при декодировании с beam=5. В качестве обучающих данных указаны Echo, VoxPopuli и RODigits. Модель распространяется по лицензии Apache-2.0.

1800июль 2026ctx1K
textaudioapache-2.0hugging-face
Sagicc
whisper-large-v3-sr-combined

Sagicc/whisper-large-v3-sr-combined — дообученная модель автоматического распознавания речи на базе Whisper large-v3 от OpenAI. Она предназначена для транскрибации аудио на сербском языке; при дообучении использовались наборы Mozilla Common Voice 13 и Google Fleurs. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и принимает аудио, выдавая текст. В README приведены результаты оценки: WER 0,0556 и орфографический WER 0,1635. Карточка рекомендует обновлённую версию Sagicc/whisper-large-v3-sr-cmb, обученную на более чем 50 часах дополнительных данных. Модель распространяется по лицензии Apache-2.0. Результаты распознавания могут зависеть от качества записи, акцента и соответствия аудио обучающим данным.

340нояб. 2023
textaudioapache-2.0hugging-face
jstoone
whisper-medium-da

jstoone/whisper-medium-da — дообученная модель распознавания датской речи, созданная на основе openai/whisper-medium. Это модель архитектуры Whisper с 455,8 млн параметров; она принимает аудио и преобразует речь в текст. Дообучение проводилось на датских данных Common Voice 11.0 и FLEURS. На указанном наборе оценки модель показала WER 13,7086 и loss 0,5814. Модель предназначена для автоматической расшифровки датской речи. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает условия записи аудио, устойчивость к различным акцентам и шуму или ограничения качества за пределами приведённой оценки.

175дек. 2022ctx1K
textaudioapache-2.0hugging-face
IonGrozea
whisper-small_ro-80mel

IonGrozea/whisper-small_ro-80mel — модель распознавания румынской речи, созданная дообучением openai/whisper-small на объединённом корпусе румынских аудиозаписей объёмом около 445 часов. Модель Whisper содержит 153,1 млн параметров и принимает аудио в виде мел-спектрограмм с 80 полосами; на выходе формирует текстовую транскрипцию. В метаданных указана поддержка румынского языка и лицензия Apache 2.0. Модель предназначена для транскрибирования румынской речи. В README сообщается о WER 0,0925 и CER 0,0293 на валидационной выборке из 25 348 примеров, оценённой с beam=5. Эти результаты относятся к описанному протоколу оценки; качество на других наборах данных и акустических условиях может отличаться.

1080июль 2026ctx1K
textaudioapache-2.0hugging-face
Edge0
ARK-ASR-0.6B

ARK-ASR-0.6B — многоязычная модель распознавания речи от Edge0, обученная по рецепту адаптации на данных учителя и онлайн-дистилляции политики из проекта open-audio-opd. Она преобразует аудио в текстовые транскрипты и подходит для расшифровки записей и потоковой речи на поддерживаемых языках. Архитектура включает декодерный Transformer с 504,7 млн параметров, отдельный аудиоэнкодер в стиле Whisper и MLP-адаптер; аудиопризнаки передаются декодеру для авторегрессионной генерации текста. Указанный в метаданных контекст — 32 768 токенов. Модель принимает аудио с частотой дискретизации 16 кГц и распознаёт китайский, английский, немецкий, японский, французский, корейский, испанский, польский, итальянский, румынский, венгерский, чешский, нидерландский, финский, хорватский, словацкий, словенский, эстонский и литовский языки. В опубликованных оценках модель показывает качество, сопоставимое с Qwen3-ASR-0.6B на английских и китайских наборах, хотя результаты зависят от языка и набора данных. Для запуска рекомендуется официальный скрипт проекта с обработчиком аудио и настройкой trust_remote_code=True. Модель опубликована в формате safetensors под лицензией Apache-2.0.

86857май 2026ctx32.8K
textapache-2.0hugging-face
sanchit-gandhi
distil-whisper-large-v3-de-kd

Distil-Whisper large-v3 German — модель распознавания речи, созданная Sanchit Gandhi как версия с дистилляцией знаний модели openai/whisper-large-v3. Она предназначена для транскрибации немецкой речи в текст и обучена на немецкой части Common Voice 15.0. Модель построена на архитектуре Whisper и содержит около 905,2 млн параметров. В ней сохранён и заморожен энкодер исходной модели, а декодер сокращён до двух слоёв. При обучении использовались дистилляция по распределению выходов модели-учителя и функция потерь по размеченным аудиоданным. В оценке на наборе Common Voice модель показала WER 6,324 после нормализации и 8,233 по орфографической метрике. Модель принимает аудио и выдаёт текст. Карточка описывает поддержку немецкого языка; результаты и назначение подтверждены для немецкой речи. Модель распространяется по лицензии MIT.

1009дек. 2023
textaudiomithugging-face
framadhita
INT8-nemotron-3.5-asr-streaming-0.6b

Карточка модели framadhita/INT8-nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.

890июль 2026
textaudiootherhugging-face
Atotti
llm-jp-4-8b-speech-asr

Atotti разработала llm-jp-4-8b-speech-asr — модель семейства LLM-jp-4, специализированную для автоматического распознавания речи. Она принимает аудио и генерирует текстовую расшифровку; для запроса на японском рекомендуется инструкция «音声を書き起こしてください。」. Архитектура — плотная LlamaForSpeechLM; модель объединяет компоненты LLM-jp-4 и Whisper large-v3 и использует формат safetensors. Основной язык — японский, также в метаданных указаны японский и английский. Модель подходит для транскрибации японской речи. Карточка предупреждает, что качество может снижаться на шумной записи, длинных аудио и спонтанной речи, а расшифровки могут содержать ошибки. Лицензия — Apache-2.0.

526февр. 2026
textaudioapache-2.0hugging-face
facebook
mms-1b-all

facebook/mms-1b-all — многоязычная модель автоматического распознавания речи, разработанная Vineel Pratap и соавторами в рамках проекта MMS. Она построена на архитектуре wav2vec2 с CTC-выходом и содержит около 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; в карточке указана поддержка 1162 языков, а частота дискретизации аудио составляет 16 кГц. Модель предназначена для транскрибации речи на большом числе языков, в том числе малоресурсных, например для расшифровки записей и создания многоязычных систем распознавания речи. Опубликованные веса доступны в форматах PyTorch и safetensors. Лицензия CC-BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование. Качество распознавания может различаться в зависимости от языка, диалекта и условий записи.

294K213май 2023
textaudiocc-by-nc-4.0hugging-face
NbAiLabBeta
nb-whisper-small

NB-Whisper Small — модель распознавания речи семейства Whisper, разработанная NB AI-Lab Национальной библиотекой Норвегии и дообученная на основе openai/whisper-small. Она предназначена прежде всего для транскрибирования норвежской речи, включая букмол и нюношк, а также поддерживает английский язык. Модель содержит 153,1 млн параметров и работает с аудио; для использования доступны реализации в форматах PyTorch, Safetensors, ONNX и Flax. Модель обучалась на 66 тысячах часов аудиозаписей и рассчитана на автоматическое преобразование речи в текст. Её можно запускать локально через Transformers; версия Small оптимизирована для работы на CPU. Для длинных записей README рекомендует обрабатывать аудио фрагментами, а увеличение beam size может повысить точность ценой скорости и памяти. Модель выпущена как кандидат на релиз, поэтому результаты и готовность следует оценивать с учётом её предварительного статуса. Лицензия — Apache 2.0. Распознавание может содержать ошибки и предвзятости; для длинного аудио нужны подходящие настройки разбиения на фрагменты. В README также описан перевод речи на английский, но основной pipeline-тег модели — распознавание речи.

2841янв. 2024ctx1K
textaudioapache-2.0hugging-face
FILM6912
nemotron-3.5-asr-streaming-0.6b

Карточка модели FILM6912/nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.

490июль 2026
textaudiootherhugging-face
ziywang50
omniASR-LLM-300M

ziywang50/omniASR-LLM-300M — совместимая с Hugging Face копия модели omniASR-LLM-300M от Meta AI, подготовленная для интеграции с vLLM. Согласно карточке, веса совпадают с оригиналом; изменена упаковка: добавлены конфигурация модели и токенизатора, а также таблица языковых идентификаторов. Модель предназначена для автоматического распознавания речи и поддерживает более 1600 языков. Она принимает аудио и преобразует речь в текст. Репозиторий содержит веса в формате safetensors; в README приведён запуск через vLLM. Модель относится к семейству OmniASR-LLM, архитектура — плотная условная генерация. Лицензия Apache 2.0. В README не указаны точный размер именно этой версии и длина контекста. Для обработки аудио в исходной инструкции также упоминается необходимость libsndfile при использовании справочного пайплайна; требования vLLM могут отличаться.

1240апр. 2026ctx8.2K
textaudioapache-2.0hugging-face
framadhita
Q4_0-nemotron-3.5-asr-streaming-0.6b

Карточка модели framadhita/Q4_0-nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.

710июль 2026
textaudiootherhugging-face
lgris
sew-tiny-portuguese-cv8

Модель lgris/sew-tiny-portuguese-cv8 разработана lgris и представляет собой дообученную версию lgris/sew-tiny-pt для автоматического распознавания речи. Она использует архитектуру SEW с CTC-декодированием и содержит 50,4 млн параметров. Модель обучалась на Common Voice 8.0 и предназначена для преобразования португальской речи в текст. На оценочной выборке указаны loss 0,4082 и WER 0,3053. Модель принимает аудио и выдаёт текст; опубликованные веса имеют формат PyTorch. Лицензия — Apache-2.0.

280март 2022
textaudioapache-2.0hugging-face
nvidia
stt_uk_citrinet_1024_gamma_0_25

NVIDIA Streaming Citrinet 1024 для украинского языка — потоковая модель автоматического распознавания речи, разработанная NVIDIA. Это неавторегрессионная архитектура Citrinet с CTC-декодированием, примерно 141 млн параметров. Модель дообучена на украинской речи методом переноса знаний с русской Citrinet-1024 и обучалась на 69 часах проверенных записей Mozilla Common Voice 10.0. Модель принимает монофонические WAV-записи с частотой дискретизации 16 кГц и возвращает текстовую расшифровку украинской речи в нижнем регистре, включая пробелы и апострофы. Её можно применять для распознавания речи в потоковом режиме, пакетной транскрибации и как контрольную точку NeMo для инференса или дальнейшего дообучения; также поддерживается развёртывание через NVIDIA Riva. Лицензия — CC-BY-4.0. В README приведены результаты WER на тестовых и валидационных наборах Common Voice 8–10. Качество может снижаться на технической лексике, непривычных разговорных вариантах и акцентированной речи.

4314июль 2022
textaudiocc-by-4.0hugging-face
suzii
vi-whisper-large-v3-turbo

Модель suzii/vi-whisper-large-v3-turbo — дообученная разработчиком suzii версия Whisper large-v3-turbo для распознавания вьетнамской речи. Она принимает аудио и преобразует его в текст; обучение продолжалось 240 часов на одной видеокарте Nvidia A6000 с использованием нескольких корпусов вьетнамской речи. Архитектура — WhisperForConditionalGeneration, около 905,2 млн параметров; доступны веса в форматах Safetensors и ONNX, модель рассчитана на работу через Transformers. Модель предназначена для транскрибирования вьетнамской речи, в том числе аудиозаписей, разговоров, видеороликов и аудиокниг. Её языковая специализация и дообучение на вьетнамских корпусах ориентированы на улучшение распознавания этого языка относительно исходной мультиязычной модели. Лицензия в предоставленных данных не указана.

22215янв. 2025
textaudiohugging-face
oliverguhr
wav2vec2-base-german-cv9

Модель oliverguhr/wav2vec2-base-german-cv9 — акустическая модель распознавания немецкой речи, разработанная на основе facebook/wav2vec2-base и дообученная на немецкой части набора Mozilla Common Voice 9.0. Это архитектура Wav2Vec2 с CTC-декодированием, содержащая 113,3 млн параметров; веса доступны в форматах PyTorch и Safetensors. Модель предназначена для преобразования аудиозаписей немецкой речи в текст. На оценочной выборке указаны loss 0,1742 и WER 0,1209. Лицензия — MIT. Карточка не описывает условия записи аудио и возможные различия качества для акцентов, шумных записей и других условий, поэтому результаты могут отличаться на данных вне обучающего набора.

1101июль 2022
textaudiomithugging-face
jonatasgrosman
wav2vec2-xls-r-1b-french

Это модель автоматического распознавания речи на базе XLS-R 1B, дообученная Jonatas Grosman для транскрибации французской речи. Дообучение проведено с помощью HuggingSound на обучающих и валидационных данных Common Voice 8.0, MediaSpeech, Multilingual TEDx, Multilingual LibriSpeech и Voxpopuli. Архитектура — Wav2Vec2ForCTC; модель содержит 1,3 млрд параметров и принимает аудио с частотой дискретизации 16 кГц. Модель предназначена для преобразования французской речи в текст, в том числе для расшифровки записей и аудиоматериалов. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0. Карточка не сообщает об ограничениях точности или о поддержке других языков.

2.1K8март 2022
textaudioapache-2.0hugging-face
OllmOne
whisper-large-v3-GGUF

OllmOne/whisper-large-v3-GGUF — это GGUF-версия модели Whisper large-v3, разработанной OpenAI и опубликованной пользователем OllmOne на Hugging Face. Модель предназначена для автоматического распознавания речи и перевода речи на английский язык; она обрабатывает аудио и генерирует текст. В карточке Hugging Face указаны задача automatic-speech-recognition, библиотека Transformers, формат GGUF, около 905,2 млн параметров и лицензия Apache-2.0. Whisper использует архитектуру encoder-decoder Transformer и обучен для многоязычного распознавания речи, речевого перевода и определения языка. Large-v3 отличается устойчивостью к акцентам, фоновой шумовой обстановке и технической лексике, а также улучшенной точностью по сравнению с large-v2. Модель требует проверки на конкретных данных перед промышленным использованием; возможны ошибки распознавания, особенно при низком качестве аудио, перекрывающейся речи или нестандартных условиях записи.

4522май 2024
textaudioapache-2.0hugging-face
bond005
whisper-large-v3-ru-podlodka

Whisper Large V3 Russian Podlodka — модель распознавания русской речи, дообученная авторами репозитория на базе Whisper Large V3. Она предназначена для транскрибации длинных аудиозаписей, в частности лекций и интервью, и используется как финальный компонент системы Pisets для подготовки расшифровок. В описанной системе распознавание дополняют сегментация речи с помощью Wav2Vec2 и фильтрация неречевых фрагментов с помощью Audio Spectrogram Transformer. Модель построена на архитектуре Whisper, содержит около 905,2 млн параметров и работает с аудио на входе, выдавая текст. В карточке перечислены обучающие наборы Taiga Speech v2, Podlodka Speech и RuLibriSpeech. Модель опубликована в форматах PyTorch и Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не приводит численных результатов оценки качества, поэтому преимущество модели для конкретных условий записи по ней количественно оценить нельзя.

41317май 2024
textaudioapache-2.0hugging-face
royshilkrot
whisper-large-v3-turbo-korean-ggml

royshilkrot/whisper-large-v3-turbo-korean-ggml — дообученная модель распознавания речи на основе OpenAI Whisper Large v3 Turbo, созданная для транскрибирования корейской речи. Обучение проводилось на двух корейских наборах данных общим объёмом около 102 тысяч предложений; в карточке сообщается, что последний чекпойнт достиг примерно 16 WER против примерно 24 WER ранее. Модель использует архитектуру WhisperForConditionalGeneration и содержит 905,2 млн параметров. Она принимает аудио и выдаёт текст; карточка указывает корейский язык. Указанная лицензия — Apache 2.0. README называет модель GGML, однако метаданные репозитория указывают формат файлов safetensors.

356окт. 2024
textaudioapache-2.0hugging-face
coriollon
whisper-large-v3-turbo-russian

Whisper-large-v3-turbo Russian Stage AW — это дообученная Coriollon модель распознавания речи на базе openai/whisper-large-v3-turbo. Она специализируется на русском языке, сохраняя поддержку английского, и предназначена для преобразования аудио в текст с пунктуацией и заглавными буквами. Архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. Модель особенно нацелена на длинные разговорные фрагменты: дообучение уменьшает потерю пунктуации во второй половине длинных реплик и встреч. Для Stage AW указаны совокупный WER 9,07% и рост плотности пунктуации в длинных репликах примерно в 2,7–2,9 раза относительно предыдущей версии. Репозиторий также содержит вариант faster-whisper с квантизацией int8 и вычислениями fp16. Модель распространяется по лицензии Apache-2.0. Ограничения: на короткой чистой речи качество пунктуации может быть ниже, чем у предыдущей версии, а на очень коротких фрагментах короче трёх секунд возможна избыточная пунктуация. Качество распознавания английской речи унаследовано от предыдущей версии и уступает исходной Whisper Turbo.

6945май 2026
textaudioapache-2.0hugging-face
reson8
canary-1b-v2-vllm

Это перепакованная для vLLM модель распознавания речи reson8/canary-1b-v2-vllm на основе NVIDIA Canary-1B-v2. Репозиторий содержит веса исходной модели в формате safetensors, приведённые к bfloat16, и конфигурацию для загрузки через архитектуру cohere_asr в vLLM 0.19.0. Архитектура включает энкодер Conformer и 8-слойный декодер Transformer; в README указано около 1 млрд параметров, тогда как метаданные репозитория содержат значение 151 млн. Модель предназначена для транскрибации речи и развёртывания за OpenAI-совместимым API vLLM, включая endpoint /v1/audio/transcriptions. Базовая Canary-1B-v2 поддерживает распознавание на 25 европейских языках и перевод речи между английским и другими языками из этого набора; конкретно для этой перепаковки метаданные перечисляют 21 язык. Лицензия — CC BY 4.0, унаследованная от исходного релиза NVIDIA. Это преобразованная упаковка исходных весов, а не новая обученная модель. Репозиторий не загружается напрямую через Transformers AutoModelForSpeechSeq2Seq: для него нужны веса с исходными ключами NeMo и совместимая реализация vLLM. Поведение, точность и ограничения наследуются от NVIDIA Canary-1B-v2.

541апр. 2026ctx1K
textaudiocc-by-4.0hugging-face
KBLab
kb-whisper-tiny

KB-Whisper Tiny — модель распознавания речи, выпущенная Национальной библиотекой Швеции (KBLab) как часть семейства Whisper. Это дообученная версия OpenAI Whisper Tiny с архитектурой Whisper; в метаданных указано 29,4 млн параметров. Модель принимает аудио и преобразует шведскую речь в текст. Она обучена на более чем 50 000 часах шведской аудиозаписи с транскрипциями и предназначена для распознавания речи в аудиозаписях и создания расшифровок. По README, на тестах FLEURS, CommonVoice и NST версия tiny показала WER 13,2, 12,9 и 11,2 соответственно; доступны стили транскрипции Stage 2, Subtitle и Strict. Репозиторий содержит веса в форматах Safetensors и ONNX, а автор также описывает варианты для whisper.cpp и CTranslate2. Модель распространяется по лицензии Apache-2.0. Результаты относятся к указанным наборам и условиям оценки; для других аудио качество может отличаться.

4482февр. 2025
textaudioapache-2.0hugging-face
nineninesix
kyrgyz-whisper-small

kyrgyz-whisper-small — мультиязычная модель распознавания речи, дообученная на архитектуре Whisper Small компании OpenAI. Модель содержит 153,1 млн параметров и принимает аудио для транскрибации на кыргызском, английском и русском языках. Она рассчитана на работу с шумными записями, смешением языков и дальнейшую адаптацию с помощью LoRA. В карточке сообщается об обучении примерно на 2 000 часах кыргызского аудио и дополнительном аудио на английском и русском языках. На бенчмарке FLEURS кыргызская WER достигает примерно 0,2–0,4; добавление кыргызского языка сопровождается некоторым снижением точности для английского и русского. Для кыргызского требуется пользовательский токенизатор. Модель распространяется по лицензии Apache-2.0.

1.9K1нояб. 2025ctx1K
textaudioapache-2.0hugging-face
NbAiLabBeta
nb-whisper-large

NB-Whisper Large — модель распознавания речи от NB AI-Lab Национальной библиотеки Норвегии, дообученная на основе openai/whisper-large. Модель семейства Whisper содержит около 905 млн параметров и предназначена для транскрибации речи; семейство также поддерживает перевод речи. Для обучения серии NB-Whisper использовали 8 млн аудиофрагментов общей длительностью около 66 000 часов, включая датасеты NbAiLab/ncc_speech, NbAiLab/NST и NbAiLab/NPSC. Модель ориентирована прежде всего на норвежский язык, включая букмол и нюношк, а также поддерживает английский. Она принимает аудио и генерирует текст; длинные записи можно обрабатывать сегментами, а Transformers позволяет получать временные метки слов и предложений. Для Large рекомендуется GPU; в README указано, что это релиз-кандидат, поэтому качество и стабильность могут измениться. Лицензия — Apache 2.0.

25211янв. 2024
textaudioapache-2.0hugging-face
NbAiLab
nb-whisper-medium-beta

NB-Whisper Medium Beta — модель автоматического распознавания речи от NB AI-Lab Национальной библиотеки Норвегии. Это дообученная версия Whisper с архитектурой WhisperForConditionalGeneration и примерно 455,8 млн параметров. Модель принимает аудио и создаёт письменную транскрипцию; основное назначение — распознавание норвежской речи, также поддерживается английский язык. Обучение проводилось на 20 000 часах размеченных данных, включая норвежские речевые корпуса, парламентские выступления, телесубтитры и аудиокниги. Доступны веса в форматах PyTorch, TensorFlow, JAX/Flax, ONNX и Safetensors. Модель предназначена для общего распознавания речи и доступна третьим сторонам как публичная бета. Разработчик отмечает, что для норвежских транскрипций она показывает высокое качество относительно ASR-моделей сопоставимого размера. Лицензия — Creative Commons Attribution 4.0 International (CC BY 4.0).

262июль 2023ctx1K
textaudiocc-by-4.0hugging-face
BasedBoba2
nemotron-3.5-asr-streaming-0.6b

Карточка модели BasedBoba2/nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.

350июль 2026
textaudiootherhugging-face
nvidia
stt_en_conformer_ctc_large

NVIDIA Conformer-CTC Large (en-US) — модель распознавания речи, разработанная NVIDIA и обученная с помощью инструментария NeMo. Это крупный вариант архитектуры Conformer с CTC-декодированием, примерно 120 млн параметров; модель работает без авторегрессионной генерации и принимает монофоническое аудио WAV с частотой 16 кГц, выдавая транскрипцию в виде текста. Модель предназначена для транскрибирования английской речи, в том числе в пакетной обработке аудиофайлов и в серверных развертываниях через NVIDIA Riva. Она обучена на нескольких тысячах часов речи из LibriSpeech, Fisher, Switchboard, WSJ, VoxPopuli, Common Voice и других корпусов. В README приведены показатели WER на нескольких тестовых наборах; подключение внешней языковой модели при развертывании через Riva может улучшить точность. Распознавание может быть менее точным для технической лексики, разговорных вариантов речи и акцентов, недостаточно представленных в обучающих данных. Лицензия модели — CC BY 4.0.

7.9K36апр. 2022
textaudiocc-by-4.0hugging-face
nvidia
stt_ka_fastconformer_hybrid_large_pc

NVIDIA FastConformer-Hybrid Large (ka) — модель распознавания речи на грузинском языке, разработанная NVIDIA и предназначенная для использования с инструментарием NeMo. Она преобразует монофонические аудиозаписи WAV с частотой 16 кГц в текст на грузинском письме; результат включает пробелы и знаки препинания: точки, запятые и вопросительные знаки. Модель построена на архитектуре FastConformer и содержит около 115 млн параметров. Это гибридный чекпойнт, обученный с функциями потерь Transducer и CTC, поэтому распознавание доступно в обоих режимах. Для обучения использовали около 163 часов грузинской речи из Mozilla Common Voice 17.0 и Google Fleurs. В README приведены значения WER 5,73% на тесте Common Voice и 13,44% на тесте Fleurs при жадном декодировании Transducer. Модель подходит для транскрибации грузинской речи и может служить предобученной основой для дообучения на других данных. Качество может снижаться на технической лексике, разговорных вариантах речи и акцентированной речи. Лицензия — CC BY 4.0.

5449июнь 2024
textaudiocc-by-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей