/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
4 741–4 770 из 4 835
jonatasgrosman
wav2vec2-xls-r-1b-spanish

Jonatas Grosman подготовил модель распознавания испанской речи, дообучив facebook/wav2vec2-xls-r-1b на обучающих и проверочных выборках Common Voice 8.0, MediaSpeech, Multilingual TEDx, Multilingual LibriSpeech и VoxPopuli. Это плотная модель Wav2Vec2ForCTC на 1,3 млрд параметров для автоматического преобразования речи в текст; она принимает аудио, записанное с частотой дискретизации 16 кГц, и предназначена для испанского языка. Модель подойдёт для транскрибации испанской речи в аудиозаписях и оценки систем распознавания речи. Для работы нужны веса PyTorch; модель распространяется по лицензии Apache-2.0. Карточка не приводит численных результатов оценки качества.

1.4K5март 2022
textaudioapache-2.0hugging-face
nyralabs
CrisperWhisper

CrisperWhisper — дообученная Nyra Health версия Whisper large-v3 для дословного распознавания речи. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и доступна в формате safetensors для библиотеки Transformers. Она принимает аудио и выдаёт текстовую транскрипцию с точными временными отметками на уровне слов. Модель рассчитана на транскрибацию, где важно сохранять оговорки, заполнители пауз, повторы, запинки и незавершённые фразы, а также на сегментацию речи. Для выравнивания слов и временных отметок применяются модифицированная токенизация, Dynamic Time Warping по cross-attention и специальная функция потерь. В карточке отмечены результаты на verbatim-наборах AMI и TED; качество зависит от аудиоданных и задачи, а сама модель больше не поддерживается активно и заменена CrisperWhisper 2.0. Лицензия — CC BY-NC 4.0, допускающая использование с обязательной атрибуцией и ограничением на коммерческое применение.

19K345авг. 2024
textaudiocc-by-nc-4.0hugging-face
facebook
hf-seamless-m4t-large

SeamlessM4T Large — крупная модель семейства SeamlessM4T, разработанная Meta и реализованная в библиотеке Hugging Face Transformers. Это единая плотная модель на 664,9 млн параметров для перевода речи и текста между языками и распознавания речи; в Transformers доступны как универсальная модель, так и специализированные варианты для отдельных задач. Модель поддерживает речевой ввод на 101 языке, текстовый ввод и вывод на 96 языках и генерацию речи на 35 языках. Она предназначена для перевода речи в речь, речи в текст, текста в речь и текста в текст, а также для автоматического распознавания речи. Можно выбирать голос синтеза с помощью идентификатора говорящего. Для синтеза речи SeamlessM4T v2 предлагает улучшенную по сравнению с этой версией архитектуру, качество и скорость. Репозиторий содержит веса PyTorch, модель рассчитана на контекст до 1024 токенов и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Модель объединяет несколько языковых задач в одном решении, но для генерации речи поддерживает меньше языков, чем для речевого ввода или текстовых операций.

1.0K63сент. 2023ctx1K
textaudiocc-by-nc-4.0hugging-face
m-a-p
MIO-7B-Base

MIO-7B-Base — базовая мультимодальная авторегрессионная модель, разработанная командой M-A-P и соавторами из исследовательских организаций. Она предназначена для генерации и понимания текста, изображений, речи и видео в единой последовательности токенов. В основе — плотная архитектура LLaMA с 5,8 млрд параметров; модель использует дискретные представления разных модальностей и контекст до 4096 токенов. Исследовательская работа описывает сценарии визуальных вопросов и ответов, распознавания и синтеза речи, создания подписей к видео, редактирования изображений и смешанной генерации текста с изображениями. Модель основана на Yi-6B-Base и дообучена для мультимодальных задач; переданные метаданные также связывают её с Yi-6B-Chat. Для этой версии в карточке указана лицензия Apache-2.0. Публикация сообщает о конкурентных результатах в ряде тестов, но отмечает сложности с вычислительной стоимостью длинных мультимодальных контекстов и разрешением генерируемых изображений. Указанный в метаданных pipeline_tag — text-generation; мультимодальные задачи и характеристики описаны в публикации о семействе MIO.

6.9K0окт. 2024ctx4.1K
textapache-2.0hugging-face
InflexionLab
VibeVoice-ASR-Kazakh

InflexionLab/VibeVoice-ASR-Kazakh — модель распознавания речи на казахском языке, созданная дообучением Microsoft VibeVoice-ASR с помощью LoRA; адаптеры объединены с базовыми весами для инференса. Обучение проводилось на наборе ISSAI-KSC2-Structured объёмом около 1 200 часов казахской речи из новостей, парламентских выступлений, ток-шоу, подкастов, радио и краудсорсинговых записей. Модель преобразует казахскую речь в текстовую транскрипцию с пунктуацией и заглавными буквами. В README указаны WER около 22% и CER около 9,6% на тестовой части ISSAI KSC2, а также WER 17,6% и CER 4,25% на наборе farabi-lab/kazakh-stt, который не использовался при обучении. Репозиторий содержит веса safetensors; лицензия — Apache-2.0.

286март 2026ctx131.1K
textaudioapache-2.0hugging-face
sanchit-gandhi
whisper-small-ft-common-language-id

Модель sanchit-gandhi/whisper-small-ft-common-language-id — дообученная Sanchit Gandhi версия Whisper Small от OpenAI для классификации аудио по языку речи. Она основана на архитектуре Whisper и обучена на датасете Common Language; в метаданных указано 153,1 млн параметров. На оценочной выборке модель достигла точности 0,8860 при значении loss 0,6409. Подходит для определения языка в аудиозаписях, например перед выбором подходящей системы распознавания речи. Распространяется по лицензии Apache-2.0.

503февр. 2023
audioapache-2.0hugging-face
sazzadul
Shrutimala_Bangla_ASR

Sazzadul Islam разработал эту модель распознавания речи на бенгальском языке, дообучив facebook/w2v-bert-2.0. Это модель архитектуры Wav2Vec2-BERT с CTC-декодированием и 402,7 млн параметров; она принимает аудио и выдаёт текст. Модель предназначена для транскрибации бенгальской речи, голосовых помощников и средств доступности. В README заявлена поддержка бенгальского и английского языков, а также WER 11,26% и CER 2,39 на оценке бенгальской речи. Модель лучше работает с чистой стандартной речью. Она может ошибаться на шумных записях, сильных региональных акцентах и редких речевых вариантах; для работы в реальном времени на маломощных устройствах потребуется оптимизация. Лицензия — CC-BY-SA-4.0.

582февр. 2025
textaudiocc-by-sa-4.0hugging-face
Thanish
wav2vec2-large-xlsr-tamil

Thanish разработал модель автоматического распознавания речи на тамильском языке, дообучив facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Это модель Wav2Vec2ForCTC с 402,7 млн параметров, принимающая аудио и выдающая распознанный текст. Для входной речи требуется частота дискретизации 16 кГц; модель можно использовать без отдельной языковой модели. В карточке приведён результат 100% на тестовых данных Common Voice, но без описания метрики и протокола оценки это число нельзя считать полной оценкой качества. Модель распространяется по лицензии Apache-2.0.

1590март 2022
textaudioapache-2.0hugging-face
mozilla-ai
whisper-large-v3-turbo-bn

mozilla.ai дообучила модель openai/whisper-large-v3-turbo для распознавания речи на бенгальском языке. Это плотная модель Whisper с архитектурой WhisperForConditionalGeneration и 905,2 млн параметров, предназначенная для преобразования бенгальской аудиозаписи в текст. Дообучение выполнено на 21 409 аудиозаписях бенгальского раздела CV Corpus 21.0. В README приведены результаты дообучения: нормализованная частота ошибок слов снизилась с 78,843 до 11,053, а нормализованная частота ошибок символов — с 62,521 до 6,059. Модель загружается через Transformers и распространяется в формате safetensors. Лицензия — Apache-2.0.

1313март 2025
textaudioapache-2.0hugging-face
TalTechNLP
xls-r-300m-et

TalTechNLP/xls-r-300m-et — модель распознавания эстонской речи, разработанная в Лаборатории языковых технологий TalTech. Это модель семейства wav2vec 2.0 с архитектурой Wav2Vec2ForCTC, дообученная на основе facebook/wav2vec2-xls-r-300m примерно на 800 часах эстонских аудиоданных. В репозитории указано 402,9 млн параметров; модель принимает аудио и преобразует речь в текст. Модель предназначена для распознавания эстонской речи в передачах, интервью, выступлениях и других общих сценариях. Она включает CTC-модель без отдельной языковой модели. В README приведены результаты WER: 7,9 на jutusaated.devset, 6,1 на jutusaated.testset и 12,5 на Common Voice 6.1. Качество может быть ниже при распознавании технической и узкоспециальной лексики, детской или неродной речи, сильном шуме, удалённом микрофоне, спонтанной и перекрывающейся речи. Лицензия — CC BY 4.0.

1.2K2март 2022
textaudiocc-by-4.0hugging-face
anton-l
xtreme_s_xlsr_300m_fleurs_asr_western_european

Модель разработана пользователем anton-l и дообучена на базе facebook/wav2vec2-xls-r-300m на датасете GOOGLE/XTREME_S — FLEURS.ALL. Это модель распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием, содержащая около 402,8 млн параметров. Модель преобразует аудио в текст и предназначена для автоматического распознавания речи на языках Западной Европы, представленных в FLEURS. В README приведены результаты оценки на 20 043 примерах: общий CER составляет 0,2484, а показатели заметно различаются по языкам; например, CER для немецкого — 0,1287, для греческого — 0,6020. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Результаты оценки указывают на неодинаковое качество между языками, поэтому перед применением следует проверить точность для нужного языка и условий записи.

181апр. 2022
textaudioapache-2.0hugging-face
Sunbird
asr-whisper-51-african-languages

Sunbird/asr-whisper-51-african-languages — модель распознавания речи Sunbird, созданная на основе Whisper large-v3 и объединённая с другими вариантами Whisper, включая huwenjie333/whisper-v3-ft-af51. Она предназначена для транскрибации речи на 51 африканском языке, включая суахили, хауса, йоруба, зулу, амхарский, а также английский и французский с африканскими акцентами. Модель дообучена на многоязычном корпусе из открытых и собранных сообществом наборов речевых данных. Карточка сообщает о сравнении с несколькими другими системами распознавания и о более низких WER и CER на большинстве проверенных языков, особенно на некоторых низкоресурсных языках; эти результаты относятся к описанным в README тестовым выборкам. Это предварительная версия: веса, поведение и качество могут измениться, поэтому авторы не рекомендуют закреплять этот чекпойнт в производственных системах. Для Whisper указано ограничение входного аудио до 30 секунд в описанном протоколе оценки. Лицензия — Apache-2.0.

3.4K20июль 2026
textaudioapache-2.0hugging-face
facebook
hf-seamless-m4t-medium

SeamlessM4T Medium — мультимодальная модель перевода от Meta, представленная в реализации Hugging Face для Transformers. Вариант на 463,7 млн параметров поддерживает перевод речи и текста между языками, распознавание речи и синтез речи; для задач доступны общая модель и специализированные подмодели. В README указано, что модель принимает речь на 101 языке, текст на 196 языках и генерирует речь на 35 языках. Максимальная длина контекста по метаданным — 4096 токенов. Модель подходит для перевода речи в речь или текст, перевода текста в текст или речь, а также для автоматического распознавания речи. При синтезе можно выбирать голос с помощью идентификатора говорящего и настраивать стратегию генерации. README отмечает, что SeamlessM4T v2 улучшает качество и скорость генерации речи по сравнению с этой версией. Репозиторий содержит веса PyTorch; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

51K33авг. 2023ctx4.1K
textaudiocc-by-nc-4.0hugging-face
speechbrain
lang-id-commonlanguage_ecapa

Модель SpeechBrain предназначена для определения языка по коротким речевым записям. Она обучена на датасете CommonLanguage и распознаёт 45 языков, включая русский, английский, арабский, китайский, японский и другие. Система сочетает ECAPA-TDNN, статистический pooling и классификатор, обученный с categorical cross-entropy. Обучающие записи имеют частоту дискретизации 16 кГц и один канал; при использовании classify_file SpeechBrain автоматически приводит аудио к нужному формату. Для другой частоты дискретизации или числа каналов входной тензор нужно подготовить самостоятельно при использовании encode_batch и classify_batch. Точность на тестовом наборе CommonLanguage указана как 85%. Модель подходит для классификации языка в речевом аудио. SpeechBrain предупреждает, что качество на других датасетах не гарантируется. Распространяется по лицензии Apache-2.0.

54341март 2022
audioapache-2.0hugging-face
oddadmix
MasriSwitch-Gemma3n-Transcriber-v1

MasriSwitch-Gemma3n-Transcriber-v1 — модель автоматического распознавания речи, разработанная oddadmix на архитектуре условной генерации Gemma 3n и дообученная на египетском арабском и речи с переключением между арабским и английским. Она предназначена для преобразования коротких и средних аудиозаписей в текст, в том числе голосовых заметок, звонков поддержки, встреч, интервью и материалов для соцсетей. В карточке указаны датасет арабско-английской речи с переключением языков и частный набор разговорных египетских записей. Модель принимает аудио и выдаёт текст; форматы весов — safetensors. Лицензия — Apache-2.0. Модель ориентирована на египетский диалект и естественное переключение арабского и английского в одной фразе. Для длинных записей рекомендуется разбивать аудио на отрезки примерно по 20–30 секунд. Лучше всего работает с чистой речью одного говорящего; качество может снижаться при сильном шуме, одновременной речи и быстром темпе. Она не оптимизирована для диалектов Персидского залива и Леванта или только литературного арабского; транскрипции чувствительных записей требуют осторожного обращения и проверки человеком.

6416окт. 2025
textaudioapache-2.0hugging-face
itshamdi404
Egy_Arabic_whisper-small

Модель itshamdi404/Egy_Arabic_whisper-small — дообученная Hamdi Mohamed мультиязычная Whisper Small для распознавания египетского арабского на аудиозаписях и преобразования речи в текст. Архитектура WhisperForConditionalGeneration, около 153,1 млн параметров; модель использует библиотеку Transformers и веса в формате safetensors. При обучении применялись аудио с частотой 16 кГц, нормализация текста и извлечение признаков процессором Whisper. Модель предназначена для транскрибации египетской речи, голосовых интерфейсов, разметки аудиоданных и бенчмаркинга распознавания арабских диалектов. Обучение на аудио с соответствующими расшифровками ориентировано на произношение, лексику и речевые особенности египетского диалекта. Лицензия — Apache-2.0. На других арабских диалектах качество может быть ниже; шум, одновременная речь и низкое качество записи ухудшают распознавание. Редкие слова и имена могут транскрибироваться с ошибками.

4822март 2026ctx1K
textaudioapache-2.0hugging-face
kristijonas
paprika-whisper-lt

Paprika — модель распознавания литовской речи, созданная командой Kalamo на основе Whisper large-v3-turbo и дообученная на литовских данных. Она преобразует аудио в текст; в обучающую выборку вошли около 320 часов спонтанной и прочитанной речи из LIEPA-3 и VoxPopuli LT. Для обработки длинных записей авторы рекомендуют запуск через конвейер с окнами по 30 секунд. Модель поддерживает литовский язык и принимает аудио с частотой 16 кГц. В тестах авторов она показала WER 16,98% на отложенном наборе VoxPopuli LT и 12,32% на FLEURS-lt; эти результаты зависят от набора данных и настроек распознавания. Модель рассчитана на транскрибирование речи, в том числе спонтанной и парламентской. Результат выдаётся строчными буквами без пунктуации и регистрационной разметки. У длинной записи встроенное декодирование с временными метками резко ухудшает качество, а обработка окнами может незаметно пропускать слова на стыках и порождать текст на тишине. Для задач, где важна полнота транскрипции, автор рекомендует более новую версию v3. Лицензия — CC BY 4.0.

37110авг. 2026
textaudiocc-by-4.0hugging-face
Pinwheel
wav2vec2-large-xls-r-1b-hindi

Pinwheel/wav2vec2-large-xls-r-1b-hindi — модель автоматического распознавания речи, разработанная организацией Pinwheel на базе архитектуры Wav2Vec2-XLS-R компании Meta. Она преобразует аудиосигнал в текст и предназначена прежде всего для распознавания речи на хинди. Модель совместима с Transformers и PyTorch, использует архитектуру Wav2Vec2ForCTC и содержит около 1,3 млрд параметров. Конфигурация включает 48 скрытых слоёв, размер скрытого представления 1280 и словарь из 72 токенов.

340март 2022
textaudiohugging-face
PereLluis13
wav2vec2-xls-r-1b-ca-lm

wav2vec2-xls-r-1b-ca-lm — модель распознавания каталонской речи, созданная PereLluis13 и дообученная на основе facebook/wav2vec2-xls-r-300m. Она использует архитектуру wav2vec2 с классификационной CTC-головой и принимает аудио, преобразуя его в текст. Для обучения использованы датасеты Mozilla Common Voice 8.0 (каталонская часть), tv3_parla и parlament_parla. Модель предназначена для автоматической транскрипции каталонской речи. В README отмечено, что точность может быть ниже для менее представленных диалектов; также возможны смещения и особенности исходных краудсорсинговых данных. Модель распространяется по лицензии Apache-2.0.

6.2K4март 2022
textaudioapache-2.0hugging-face
lucio
xls-r-uzbek-cv8

Модель lucio/xls-r-uzbek-cv8 — система автоматического распознавания узбекской речи, созданная дообучением facebook/wav2vec2-xls-r-300m на узбекской части Mozilla Common Voice 8.0. Она построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров; модель принимает аудио и преобразует речь в текст на современном латинском письме узбекского языка. Декодер использует языковую модель KenLM, построенную на текстах Common Voice. Модель предназначена для черновых субтитров к видео и индексирования записанных передач. На валидационной выборке указаны WER 0,3852 и CER 0,0777; автор предупреждает, что качество недостаточно для надёжных субтитров в реальном времени, например для обеспечения доступности. Модель выпущена под лицензией Apache-2.0.

5407март 2022
textaudioapache-2.0hugging-face
jiviai
audioX-south-v1

AudioX-South — модель распознавания речи из семейства AudioX, разработанного Jivi AI. Это вариант для южноиндийских языков, дообученный методом supervised learning на открытой модели распознавания речи с использованием языковой балансировки, адаптации к домену и аугментации шумом. Модель принимает аудио и преобразует речь в текст на тамильском, телугу, каннада и малаялам. Она предназначена для транскрибации, голосовых помощников, автоматизации клиентской поддержки и создания многоязычного контента; карточка сообщает об устойчивости к региональным акцентам и разному качеству записи. В примере запуска используется архитектура Whisper через Transformers. В README приведены результаты сравнения на Vistaar Benchmark; для AudioX указано среднее значение WER 20,1 по семи языкам семейства. Обучение включало открытые многоязычные ASR-корпуса и закрытые медицинские аудиоданные. Модель распространяется по лицензии Apache-2.0. Заявления о превосходстве в бенчмарках приведены авторами; отдельные ограничения качества в карточке не описаны.

849янв. 2025
textaudioapache-2.0hugging-face
Vikhrmodels
Borealis-5b-it

Borealis-5B-IT — аудиоязыковая модель Vikhrmodels для понимания речи и выполнения инструкций по аудио. Она объединяет замороженный энкодер Whisper Large V3, дообученную языковую модель Qwen3-4B и двухслойный MLP-адаптер, который проецирует аудиопредставления в пространство языковой модели. Общий размер — около 5 млрд параметров. Модель предназначена для транскрибации и суммаризации аудио, ответов на вопросы по аудиозаписям, описания звукового содержимого и анализа эмоций. Она рассчитана прежде всего на русский и английский языки. Для аудиофрагмента длиной 30 секунд формируется 375 аудиотокенов; в README также заявлена поддержка обработки аудио через интеграцию с vLLM. В опубликованных тестах качество распознавания заметно зависит от набора данных: результаты лучше Whisper Large V3 на Russian_LibriSpeech, близки на Common Voice и существенно хуже на Tone_Webinars. Модель оптимизирована для аудио длительностью до 30 секунд и может хуже справляться с сильным шумом. Лицензия — Apache-2.0.

22214дек. 2025ctx131.1K
textapache-2.0hugging-face
facebook
data2vec-audio-large-960h

Data2Vec-Audio-Large-960h — акустическая модель Facebook для автоматического распознавания английской речи. Это крупная Transformer-модель семейства data2vec с архитектурой Data2VecAudioForCTC и 402,7 млн параметров; она предварительно обучена и дообучена на 960 часах аудио из LibriSpeech. Модель принимает речь с частотой дискретизации 16 кГц и выводит текстовую транскрипцию. Модель предназначена для транскрибирования аудиозаписей и оценки систем распознавания речи на наборах LibriSpeech. В карточке приведены результаты WER 1,89 для раздела clean и 4,07 для other. Эти показатели относятся к указанной оценке на LibriSpeech и не гарантируют аналогичного качества на других данных. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Она рассчитана на английскую речь и требует аудио с частотой 16 кГц; карточка не описывает поддержку других языков или сценариев работы.

3.7K8апр. 2022
textaudioapache-2.0hugging-face
microsoft
VibeVoice-ASR-Streaming-7B

VibeVoice-ASR-Streaming-7B — потоковая модель автоматического распознавания речи от Microsoft. Она преобразует поступающую речь в текст и связывает реплики с говорящими, поддерживая пользовательские ключевые слова для имён и специальных терминов. Модель рассчитана на потоковую транскрибацию речи на китайском, английском, французском, немецком, итальянском, японском, корейском, португальском, русском и испанском языках. Архитектура — плотная модель семейства VibeVoice; файлы весов представлены в safetensors, для работы используется Transformers. Поддержка атрибуции говорящих и настраиваемых ключевых слов подходит для транскрибации разговоров и аудио с предметной лексикой. В предоставленных материалах не описаны точность, ограничения по длительности или шуму и требования к ресурсам. Лицензия — MIT.

5.1K257сент. 2026ctx131.1K
textaudiomithugging-face
OpenMOSS-Team
MOSS-Transcribe-preview-2B

MOSS-Transcribe-preview-2B — англоязычная модель распознавания речи в текст, разработанная OpenMOSS Team. Она принимает аудио и предназначена для транскрибации английской речи, в том числе для исследовательских и оценочных сценариев. Модель построена на языковой основе Qwen3-1.7B-base и аудиокодировщике Qwen3-Omni-MoE; gated-MLP-адаптер передаёт аудиопризнаки в пространство эмбеддингов языковой модели. По README, модель содержит около 2,4 млрд параметров, тогда как метаданные Hugging Face указывают 10,1 млрд. Контекст составляет 32 768 токенов. Модель обучалась на открытых англоязычных корпусах распознавания речи и дообучалась с reinforcement learning на обучающих разбиениях Open ASR Leaderboard. В README приведены результаты оценки на нескольких наборах данных; TED-LIUM в этой оценке не использовался. Ограничения включают возможное снижение качества на других языках, при сильных акцентах, шуме, перекрывающейся речи, записи на расстоянии и узкоспециальной терминологии; результаты для важных решений следует проверять вручную. Распространяется по лицензии Apache-2.0.

43953июнь 2026ctx32.8K
textapache-2.0hugging-face
HIT-TMG
Uni-MoE-2.0-Omni

Uni-MoE 2.0-Omni — открытая омнимодальная модель команды HIT-TMG, предназначенная для понимания, рассуждений и генерации в сценариях с несколькими модальностями. Версия Omni объединяет обработку разных типов входных данных с генерацией изображений и аудио. Модель построена на архитектуре GrinQwen2VLForConditionalGeneration и дообучена на базе Qwen/Qwen2.5-7B-Instruct. Метаданные указывают 7,1 млрд параметров, контекст до 128 000 токенов и поддержку английского и китайского языков. В README описаны Omnimodality 3D RoPE и архитектура смеси экспертов с динамической ёмкостью; модель доступна в формате safetensors и использует лицензию Apache-2.0. Модель подходит для мультимодального диалога, анализа изображений и аудио, а также генерации изображений и аудио. Карточка не уточняет поддерживаемые аудиоформаты, качество на отдельных задачах или ограничения на длину генерируемых аудио и изображений.

14236нояб. 2025ctx128K
textapache-2.0hugging-face
microsoft
VibeVoice-ASR-Streaming-1.5B

VibeVoice-ASR-Streaming-1.5B — потоковая модель распознавания речи от Microsoft на базе семейства VibeVoice. Она преобразует поступающий аудиопоток в текст и связывает реплики с говорящими, а пользовательские ключевые слова помогают распознавать имена и специальные термины. Модель поддерживает 10 языков: китайский, английский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский. В метаданных указаны плотная архитектура VibeVoice и формат весов Safetensors; README сообщает размер 1,5 млрд параметров. Модель предназначена для сценариев потоковой транскрибации с атрибуцией говорящих и пользовательскими подсказками. Лицензия — MIT.

5.9K60сент. 2026ctx131.1K
textaudiomithugging-face
VictorMr
slm-terminal-specialist

VictorMr/slm-terminal-specialist — компактная языковая модель на архитектуре Qwen2, дообученная автором на базе Qwen/Qwen2.5-Coder-1.5B-Instruct с помощью LoRA и MLX-LM. Она предназначена для преобразования запросов на бразильском португальском в готовые команды терминала Unix, особенно для macOS на Apple Silicon и оболочки Zsh; обучающий набор содержит 500 проверенных пар инструкций по 60 утилитам, включая awk, sed, jq, ffmpeg, Docker и Git. Модель генерирует текстовые команды в диалоговом формате, имеет 1,5 млрд параметров и контекст до 32 768 токенов. Репозиторий использует формат Safetensors, библиотеку MLX и лицензию Apache-2.0. Карточка описывает узкую специализацию, но не приводит результатов оценки точности; сгенерированные команды следует проверять перед выполнением.

420сент. 2026ctx32.8K
textapache-2.0hugging-face
Finnish-NLP
wav2vec2-large-uralic-voxpopuli-v2-finnish

Модель Finnish-NLP/wav2vec2-large-uralic-voxpopuli-v2-finnish — акустическая модель для распознавания финской речи, разработанная Finnish-NLP как дообученная версия facebook/wav2vec2-large-uralic-voxpopuli-v2. Она использует архитектуру Wav2Vec2 с CTC-декодированием и содержит около 402,7 млн параметров. Обучение проводилось на 276,7 часах размеченной финской речи; при декодировании также можно использовать включённую в репозиторий языковую модель KenLM. Модель предназначена для преобразования финской речи в текст, в том числе для расшифровки записей и голосовых материалов. Наиболее подходящими считаются аудиофрагменты длительностью до примерно 20 секунд. В оценках на Common Voice 7.0 и 9.0 показаны результаты WER около 4,1% с KenLM и около 9,7–9,8% без него. Обучающие данные в основном происходят из записей заседаний парламента Финляндии, поэтому распознавание разговорной речи, диалектов, детских и женских голосов может быть менее надёжным. Языковая модель KenLM также ориентирована преимущественно на формальный финский. Модель распространяется по лицензии Apache-2.0.

6681май 2022
textaudioapache-2.0hugging-face
BSC-LT
whisper-3cat-cv21-valencian

BSC-LT/whisper-3cat-cv21-valencian — акустическая модель распознавания речи, созданная лабораторией Language Technologies Laboratory Барселонского суперкомпьютерного центра. Это дообучение Whisper large-v3 с 905,2 млн параметров на 397 часах 55 минутах аудиозаписей из Corts Valencianes и Common Voice v21, отобранных для валенсийского акцента каталанского языка. Модель предназначена для транскрибации аудио на каталанском языке, особенно с валенсийским акцентом, в обычный текст без пунктуации. Она принимает аудио и выдаёт текст; использует архитектуру Whisper и библиотеку Transformers. Лицензия — Apache-2.0.

1220июль 2025
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей