/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
1 771–1 800 из 4 835
mavleo96
whisper-accent-medium.en

whisper-accent-medium.en — дообученная модель на основе OpenAI Whisper medium.en для распознавания и транскрибирования английской речи с разными акцентами. Она использует архитектуру Whisper и реализует обусловливание декодера на выученные представления акцентов через Adaptive Layer Normalization (AdaLN). Акцент оценивается по скрытым состояниям энкодера с помощью классификатора, а обучались только добавленные компоненты и представления акцентов; энкодер и декодер Whisper оставались замороженными. Всего в модели 839 897 904 параметра, около 9% из них обучались. Модель предназначена для транскрибации английской речи с разнообразными акцентами. В README указаны результаты оценки: WER 0,0939 и точность определения акцента 0,9615. Это результаты на наборе оценки, поэтому качество на других аудиозаписях может отличаться. Модель распространяется по лицензии Apache-2.0 и сохранена в формате safetensors.

280февр. 2026
textaudioapache-2.0hugging-face
dianavdavidson
whisper-medium_mucs_63022_ratio_25_45_lr_1e-4_lgid_None_hinglish_mixed_scripts_FT

Модель dianavdavidson/whisper-medium_mucs_63022_ratio_25_45_lr_1e-4_lgid_None_hinglish_mixed_scripts_FT — дообученная версия Whisper Medium от OpenAI для автоматической расшифровки речи. Она содержит 455,8 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате Safetensors. По названию модели она ориентирована на речь хинглиш с использованием смешанных систем письма; в README указан результат оценки Global WER 28,9546 и loss 0,4427, но состав набора и методика оценки не описаны. Модель принимает аудио и выдаёт текстовую транскрипцию. Базовая Whisper Medium также поддерживает многоязычную расшифровку и перевод речи, однако для этой дообученной версии подтверждена только задача распознавания речи. Лицензия — Apache-2.0. Оценка WER и отсутствие сведений о данных обучения затрудняют выводы о качестве на других наборах и языковых вариантах.

1060сент. 2026ctx1K
textaudioapache-2.0hugging-face
neoform-ai
whisper-medium-yoruba

neoform-ai/whisper-medium-yoruba — версия Whisper Medium, дообученная Oyemade Oyemaja на наборе Common Voice 17.0 для автоматического распознавания речи на языке йоруба. Модель принимает аудио и выдаёт текст; архитектура основана на WhisperForConditionalGeneration и содержит 455,8 млн параметров. Модель подходит для расшифровки записей и речи на йоруба, например для подготовки текстовых версий аудиоматериалов. Базовая Whisper Medium также поддерживает многоязычное распознавание и перевод речи, однако карточка этой версии подтверждает только дообучение для распознавания речи. Модель распространяется по лицензии Apache-2.0. README не содержит сведений об оценках качества и подробных ограничениях; качество распознавания может зависеть от акцента, условий записи и соответствия аудио языку обучения.

262май 2024ctx1K
textaudioapache-2.0hugging-face
Akashpb13
xlsr_kurmanji_kurdish

Akashpb13/xlsr_kurmanji_kurdish — модель распознавания речи на курманджи, созданная дообучением facebook/wav2vec2-xls-r-300m. Архитектура Wav2Vec2ForCTC содержит около 402,7 млн параметров и принимает аудио, выдавая распознанный текст. Модель обучалась на курманджийской части Mozilla Common Voice 7.0; в карточке указана оценка WER 0,388585 на наборе, сформированном из обучающих и оценочных данных Common Voice 7.0. Метаданные также связывают модель с Common Voice 8.0 для оценки. Модель подходит для транскрибирования записей на курманджи и экспериментов с распознаванием этой речи. Для использования модель и код распространяются по лицензии Apache-2.0. Карточка не описывает специальные сценарии применения или дополнительные ограничения; приведённый WER указывает, что ошибки распознавания следует учитывать при практическом использовании.

8813март 2022
textaudioapache-2.0hugging-face
ngquocvinh
YuE2-3B-GGUF

YuE2-3B-GGUF — набор общественных GGUF-квантизаций модели YuE2-3B от m-a-p, подготовленный пользователем ngquocvinh для запуска через audio.cpp. Модель предназначена для генерации музыки по тексту, включая lyrics-and-style-conditioned сценарии: создание песен на основе текста песни и описания музыкального стиля. Поддерживаются английский и китайский языки, а результатом является стереофоническая музыка с частотой 48 кГц. Архитектура исходной YuE2-3B объединяет symbolic planning, авторегрессионную и неавторегрессионную генерацию музыкальных токенов, а также VAE-декодер. В репозитории доступны варианты от BF16 и Q8_0 до компактных Q2_K, включая смешанные профили audio.cpp с повышенной точностью отдельных компонентов AR/NAR. Основные GGUF-файлы имеют размер примерно от 1,78 до 6,76 ГиБ; VAE поставляется отдельно в форматах F16 и F32. Сильной стороной модели является сочетание текстового управления, поддержки двух языков и нескольких профилей квантования, позволяющих выбирать баланс между качеством и требованиями к памяти. Ограничения включают зависимость от native audio.cpp loader, необходимость хранить рядом с моделью VAE и обязательные sidecar-файлы. Приведённые в README результаты WildSongBench относятся к исходной YuE2 и не являются измерением качества именно этих GGUF-файлов. Распространение указано по лицензии CC BY-NC 4.0.

9.2K4сент. 2026
textaudiocc-by-nc-4.0hugging-face
SeyedAli
Arabic-Speech-synthesis-MMS

Arabic-Speech-synthesis-MMS — модель синтеза речи из текста на арабском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она предназначена для озвучивания арабского текста и использует архитектуру VITS с генерацией речевой волны непосредственно из входной последовательности текста. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и safetensors; для работы с ней подходит библиотека Transformers версии 4.33 и выше. VITS сочетает вариационный автоэнкодер, flow-модуль и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор длительности позволяет получать разные ритмы речи для одного и того же текста, поэтому генерация недетерминирована: для повторения результата требуется фиксированный seed. Для языков MMS обучает отдельные контрольные точки. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

19724сент. 2023
textaudiocc-by-nc-4.0hugging-face
1mahfuz
btts-finetuned

btts-finetuned — дообученная версия SpeechT5 от Microsoft, созданная автором репозитория 1mahfuz. Модель предназначена для синтеза речи по тексту и опубликована в формате safetensors для библиотеки Transformers. В карточке указано значение loss 0,4562 на оценочном наборе, однако описание набора данных, методики оценки, поддерживаемых языков и характеристик генерируемой речи отсутствует. Модель распространяется по лицензии MIT. Базовая модель — microsoft/speecht5_tts.

50авг. 2026
textaudiomithugging-face
jaketae
hifigan-lj-v1

HiFi-GAN — вокодер, обученный разработчиком репозитория на наборе аудиозаписей LJSpeech. Модель предназначена для синтеза речи: она преобразует речевые признаки в аудио. Архитектура относится к семейству HiFi-GAN; веса доступны в формате PyTorch. Карточка указывает на обучение на LJSpeech и адаптацию кода официальной реализации для fairseq. Языковая метка — английский, поэтому модель связана с англоязычными данными. Для загрузки приведён пример с AutoModel из Transformers и параметром trust_remote_code. Сведения о лицензии и ограничениях качества в карточке не приведены.

751март 2022
textaudiohugging-face
Bindkushal
IndicVoice-82M

IndicVoice — авторская декодерная нейросетевая модель синтеза речи, созданная Кушалом Кантом Биндом из Chandigarh University в рамках GSoC 2026 для Sugar Labs. Модель построена на архитектуре Kokoro-82M с компонентами StyleTTS2 и ISTFTNet и содержит 82 млн параметров. Модель преобразует текст в речь на хинди и панджаби; бенгальский поддерживается в бета-режиме. Для преобразования текста в фонемы используется встроенный indic-g2p, а для слов вне его словаря предусмотрен переход на espeak-ng. Частота дискретизации синтезируемой речи — 24 кГц. Модель предназначена для создания озвучки на индийских языках. В README указана лицензия Apache 2.0 для базовой архитектуры Kokoro-82M; метаданные репозитория также указывают Apache 2.0. Отдельные ограничения качества или применения в карточке не описаны.

1.6K3апр. 2026
textaudioapache-2.0hugging-face
telecomadm1145
Kiseki-TTS-1.2

Карточка модели telecomadm1145/Kiseki-TTS-1.2 на Hugging Face совпадает с карточкой telecomadm1145/Kiseki-TTS-1.21, поэтому описание составлено по ней. Kiseki-TTS-1.21 — японская модель синтеза речи, разработанная telecomadm1145. Она преобразует текст в последовательности дискретных аудиокодек-токенов, которые декодируются в звуковую волну с помощью Qwen3 TTS codec. Модель построена как encoder–decoder: Transformer-энкодер обрабатывает текст, а декодер на Mamba2 генерирует аудиотокены; аудиокодек работает с частотой 12,5 кадров в секунду и использует 16 слоёв квантования с кодбуком из 2048 элементов. Модель рассчитана на синтез японской речи. Mamba2-декодер поддерживает постоянный объём памяти на кадр и не использует KV-кэш, что подходит для генерации длинных высказываний; в README указана настройка до 250 кадров примерно для 20 секунд аудио. Для декодирования токенов в волну требуется Qwen3 TTS codec. Модель дообучена на telecomadm1145/Kiseki-1.1-0.3B и распространяется по лицензии MIT.

290авг. 2026ctx262.1K
textmithugging-face
kurdai-academy
mms-asr-1b-ckb_Kurdish_Sorani_finetuned_v4

Это дообученная модель распознавания речи kurdai-academy, созданная на основе facebook/mms-1b-fl102 и обученная на наборе Common Voice 17.0. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования аудио в текст на курдском языке сорани. Модель содержит 1,3 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. На оценочной выборке автор сообщает loss 0,3046 и WER 0,4115; результат указывает на заметные ошибки распознавания, поэтому качество следует проверять на целевых аудиозаписях. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

940янв. 2025
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ara

facebook/mms-tts-ara — модель синтеза арабской речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для арабского языка с архитектурой VITS, объединяющей вариационный автоэнкодер, flow-модуль и декодер на основе HiFi-GAN. Модель содержит около 3,5 млн параметров и доступна через библиотеку Transformers. Модель преобразует входной текст в речевую аудиоволну и подходит для озвучивания арабских текстов и создания речевого вывода в приложениях. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения; для воспроизводимого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

6.9K24сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mal

facebook/mms-tts-mal — модель синтеза речи на малаялам от Meta, созданная в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на малаялам. Модель использует архитектуру VITS и содержит 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; библиотека Transformers поддерживает его начиная с версии 4.33. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста, поэтому при фиксированном seed можно воспроизводить тот же результат. Модель подходит для озвучивания текстов и создания речевого аудио на малаялам. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

4.3K7сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-por

facebook/mms-tts-por — модель синтеза речи на португальском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на португальском языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем и HiFi-GAN-подобным декодером; стохастический предсказатель длительности позволяет варьировать ритм произношения. Для повтора идентичного результата требуется фиксировать seed. Модель поддерживается библиотекой Transformers версии 4.33 и выше. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1.4K25сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sah

facebook/mms-tts-sah — модель синтеза речи на якутском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания якутских текстов. Модель построена на архитектуре VITS и содержит 3,5 млн параметров; чекпойнты MMS-TTS обучаются отдельно для каждого языка. Для работы поддерживается библиотека Transformers версии 4.33 и выше. VITS объединяет вариационный автоэнкодер, потоковые слои, текстовый энкодер на основе Transformer и декодер, связанный с HiFi-GAN. Стохастический предсказатель длительности позволяет получать разные ритмические варианты произнесения одного текста; поэтому результат может меняться между запусками, а для воспроизводимого синтеза нужен фиксированный seed. Модель распространяется в форматах PyTorch и Safetensors по лицензии CC BY-NC 4.0, которая требует указания авторства и ограничивает коммерческое использование.

5052сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-swh

facebook/mms-tts-swh — модель синтеза речи на суахили из проекта Massively Multilingual Speech компании Facebook. Она принимает текст на суахили и генерирует речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Модель содержит 3,5 млн параметров и доступна через библиотеку Transformers версии 4.33 и выше. Архитектура VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер HiFi-GAN. Благодаря стохастическому предиктору один и тот же текст может звучать с разным ритмом; для повторяемого результата требуется фиксированный seed. Модель предназначена для преобразования текста на суахили в речь. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка не приводит оценок качества или подробностей о голосе и условиях обучения.

3.5K14сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tgl

facebook/mms-tts-tgl — модель синтеза речи на тагальском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст в речевую волну и предназначена для озвучивания текстов на тагальском языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером на основе Transformer, потоком нормализации, декодером, похожим на HiFi-GAN, и стохастическим предсказателем длительности, который позволяет варьировать ритм речи. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель подключается через библиотеку Transformers версии 4.33 и новее. Из-за стохастической генерации для повторения результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1.7K9сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tuk-script_latin

facebook/mms-tts-tuk-script_latin — модель синтеза речи на туркменском языке латиницей, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой сигнал и предназначена для озвучивания туркменских текстов. Модель использует архитектуру VITS и реализована в Transformers; размер чекпойнта составляет 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, потоковый модуль, текстовый энкодер на основе Transformer и декодер в стиле HiFi-GAN. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому результат может меняться между запусками; фиксированный seed помогает воспроизводить одну и ту же генерацию. Модель обучалась отдельно для своего языка и поддерживает синтез речи из текста на туркменском языке в латинской письменности. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

3.6K5сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-udm

facebook/mms-tts-udm — модель синтеза речи на удмуртском языке из проекта Massively Multilingual Speech компании Meta. Это отдельный чекпойнт VITS для удмуртского языка: модель принимает текст и генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на базе Transformer, стохастический предсказатель длительности и декодер, похожий на HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна для Transformers версии 4.33 и выше. Модель предназначена для преобразования удмуртского текста в речь. Стохастический предсказатель длительности позволяет получать варианты произношения с разным ритмом; генерация недетерминирована, поэтому для повторяемого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4884сент. 2023
textaudiocc-by-nc-4.0hugging-face
0x3
moonshine-tiny-ja

Карточка модели 0x3/moonshine-tiny-ja на Hugging Face совпадает с карточкой moonshine-ai/moonshine-tiny-ja, поэтому описание составлено по ней. Moonshine Tiny JA — компактная модель распознавания речи с архитектурой Moonshine, разработанная Moonshine AI, ранее Useful Sensors. Она преобразует японскую речь из аудио в японский текст и предназначена для разработчиков, которым нужно запускать транскрибацию в реальном времени на устройствах с ограниченными памятью и вычислительными ресурсами. Модель содержит 27 млн параметров, использует архитектуру последовательность-в-последовательность и доступна в формате Safetensors для Transformers; длина контекста — 194 токена. По данным README, модель обучена на 53 900 часах аудио с расшифровками и показала CER 17,87 на Fleurs и 18,3 на Common Voice 17. Среди возможных применений — субтитры и средства доступности, а также транскрибация японской речи на периферийных устройствах. Лицензия указана как other; конкретные условия следует проверять в репозитории модели. Расшифровки могут содержать слова, которых не было в аудио, а последовательная генерация может приводить к повторам. Эти проблемы вероятнее для коротких фрагментов и аудио с обрезанными краями; модель не следует использовать для выводов о людях или решений в критически важных областях. README также содержит противоречивое утверждение об обучении и оценке на арабской задаче, хотя карточка описывает японскую ASR; поэтому языковую специализацию следует трактовать с учётом этого расхождения.

50июнь 2026ctx194
textaudiootherhugging-face
moonshine-ai
moonshine-tiny-ja

Moonshine Tiny JA — компактная модель распознавания речи с архитектурой Moonshine, разработанная Moonshine AI, ранее Useful Sensors. Она преобразует японскую речь из аудио в японский текст и предназначена для разработчиков, которым нужно запускать транскрибацию в реальном времени на устройствах с ограниченными памятью и вычислительными ресурсами. Модель содержит 27 млн параметров, использует архитектуру последовательность-в-последовательность и доступна в формате Safetensors для Transformers; длина контекста — 194 токена. По данным README, модель обучена на 53 900 часах аудио с расшифровками и показала CER 17,87 на Fleurs и 18,3 на Common Voice 17. Среди возможных применений — субтитры и средства доступности, а также транскрибация японской речи на периферийных устройствах. Лицензия указана как other; конкретные условия следует проверять в репозитории модели. Расшифровки могут содержать слова, которых не было в аудио, а последовательная генерация может приводить к повторам. Эти проблемы вероятнее для коротких фрагментов и аудио с обрезанными краями; модель не следует использовать для выводов о людях или решений в критически важных областях. README также содержит противоречивое утверждение об обучении и оценке на арабской задаче, хотя карточка описывает японскую ASR; поэтому языковую специализацию следует трактовать с учётом этого расхождения.

83711сент. 2025ctx194
textaudiootherhugging-face
laion
moss-1.5-roleplay-finetune

MOSS-TTS-Local v1.5 Role-Play & Creature-Voice Fine-Tune — это полно-параметрическая донастройка модели OpenMOSS-Team/MOSS-TTS-Local-Transformer-v1.5, разработанная для синтеза речи с подробным следованием голосовым инструкциям. В карточке указаны 4,55 млрд параметров и 12 RVQ-кодбуков при частоте 48 кГц. Основной чекпойнт creatures_p9 ориентирован на ролевые, эмоциональные, фантастические и чудовищные голоса; отдельный чекпойнт roleplay_p8_clean лучше подходит для нейтральной студийной озвучки на английском. Модель принимает текст реплики и отдельную инструкцию о манере исполнения: тоне, настроении, эмоции или образе персонажа. Основные языки — английский и немецкий; также заявлено покрытие французского и испанского. По приведённым в README прокси-метрикам, исполнение фантастических голосов и следование английским инструкциям близки к указанным авторами верхним ориентирам, а немецкая разборчивость также близка к ним. Французский и испанский ролевой синтез проверялся на многоязычных наборах без отдельного специализированного бенчмарка. Лицензия CC-BY-NC-4.0 разрешает использование на условиях атрибуции и некоммерческого применения.

122июль 2026ctx131.1K
textaudiocc-by-nc-4.0hugging-face
prasadvittaldev
orpheus-telugu-male-qlora-v1

Orpheus Telugu Male (QLoRA v1) — модель преобразования текста в речь для телугу с мужским голосом, разработанная prasadvittaldev на основе Orpheus от canopylabs. Она принимает текст с префиксом голоса `telugu_male` и генерирует аудиотокены SNAC, которые декодируются вокодером SNAC в монофонический PCM с частотой 24 кГц. Модель основана на архитектуре Llama, содержит 3,3 млрд параметров и имеет контекст 131 072 токена. Модель дообучена методом QLoRA: базовые веса использовались в 4-битном формате nf4, вычисления выполнялись в bf16; адаптеры применялись к слоям attention и MLP, а embeddings оставались замороженными. Для настройки голоса указана медианная основная частота 136,9 Гц. Модель предназначена для синтеза телугу-речи мужским голосом; клонирование голоса по образцу не поддерживается, аудио на вход она не принимает. В README отмечен низкий уровень выходного сигнала, который может потребовать нормализации громкости. Лицензия указана как `other`, конкретные условия в доступных сведениях не приведены.

70авг. 2026ctx131.1K
textotherhugging-face
nvidia
parakeet-tdt_ctc-0.6b-ja

Parakeet TDT-CTC 0.6B (ja) — модель автоматического распознавания речи, разработанная командой NVIDIA NeMo. Она преобразует японскую речь в текст с пунктуацией и подходит для расшифровки аудиозаписей и дообучения на новых данных. Модель принимает монофонический WAV-аудиосигнал с частотой 16 кГц и выдаёт текстовую строку. В основе лежит гибридная архитектура FastConformer с декодерами TDT и CTC; размер модели — около 0,6 млрд параметров. TDT предсказывает длительность токенов, что позволяет пропускать часть пустых кадров и ускорять вывод. Модель обучена на более чем 35 тысячах часов японской речи из ReazonSpeech v2.0; для токенизации используется SentencePiece с 3072 токенами. В README приведены результаты CER на нескольких японских тестовых наборах, полученные жадным декодированием без внешней языковой модели. Для работы предусмотрен фреймворк NVIDIA NeMo; модель также может служить предобученным чекпойнтом для дообучения. Лицензия — CC BY 4.0. Распознавание ориентировано на японскую речь; качество на других языках и в условиях, не представленных тестами, не описано.

7.9K69май 2024
textaudiocc-by-4.0hugging-face
kamsonowicz
piper-pl_PL-meskiwgglos-medium

Это польская мужская модель синтеза речи Piper с голосом meski_wg_glos. Репозиторий представляет собой переупаковку модели WitoldG/polish_piper_models для Speaches и содержит файлы в формате ONNX. Модель предназначена для преобразования польского текста в речь; в метаданных Hugging Face задача указана как text-to-speech. Условия лицензии в доступных сведениях не описаны.

140июль 2026
textaudiohugging-face
UBC-NLP
Simba-TTS-afr

Simba-TTS-afr — модель синтеза речи на африкаанс из семейства Simba, разработанного UBC-NLP. Она преобразует текст в естественно звучащую речь и предназначена для голосовых интерфейсов и других сценариев озвучивания на африкаанс. В README модель отнесена к серии Simba-TTS и названа MMS-TTS; метаданные указывают архитектуру VITS, библиотеку Transformers и размер 3,5 млн параметров. Модель обучалась с использованием SimbaBench, набора данных для африканских языков. Модель принимает текст и генерирует аудио. README указывает африкаанс как целевой язык этой версии; серия ориентирована на африканские языки и языки с ограниченными ресурсами. Лицензия — CC BY 4.0. Метаданные помечают модель как automatic speech recognition, тогда как README описывает её назначение как text-to-speech; поэтому классификация задачи в каталоге может расходиться с назначением, заявленным авторами.

2770май 2025
textaudiocc-by-4.0hugging-face
GCYY
speecht5_finetuned_fleurs_zh

GCYY/speecht5_finetuned_fleurs_zh — модель синтеза речи из текста, созданная дообучением SpeechT5 от Microsoft на наборе данных FLEURS. В метаданных указаны архитектура SpeechT5 и формат PyTorch; README сообщает значение loss 0,4343 на оценочной выборке. Модель предназначена для преобразования текста в речь. Данные подтверждают связь обучения с FLEURS, но не раскрывают конкретный языковой охват, характеристики голоса или сценарии применения. Модель распространяется по лицензии MIT.

192авг. 2023ctx600
textaudiomithugging-face
Sandiago21
speecht5_finetuned_google_fleurs_greek

Sandiago21/speecht5_finetuned_google_fleurs_greek — модель синтеза речи из текста на базе SpeechT5ForTextToSpeech от Microsoft, дообученная на наборе Google FLEURS для греческого языка. В метаданных указаны архитектура SpeechT5 и форматы PyTorch и Safetensors; авторская карточка сообщает значение loss 0,3920 на оценочной выборке. Модель предназначена для преобразования текста в греческую речь. Базовая SpeechT5 описана в каталоге как модель синтеза речи, дообученная Microsoft на LibriTTS. Репозиторий распространяется по лицензии MIT. README не содержит сведений о целевых сценариях, настройках синтеза или ограничениях качества; показатель loss приведён без описания методики и поэтому сам по себе не позволяет судить о качестве звучания.

1002июль 2023ctx600
textaudiomithugging-face
idajikuu
SpeechT5_TTS_Haitian

idajikuu/SpeechT5_TTS_Haitian — модель синтеза речи на основе архитектуры SpeechT5, дообученная на датасете CMU Haitian для креольского языка Гаити. Она преобразует письменный текст на гаитянском креольском в речь и подходит для озвучивания аудиокниг и работы голосовых помощников. Качество синтеза зависит от разнообразия и качества обучающих данных. Возможны ошибки, особенно при озвучивании сложных предложений и узкоспециализированной лексики. Модель распространяется в формате PyTorch; лицензия в предоставленных сведениях не указана.

1155июль 2023ctx600
textaudiohugging-face
nikolab
speecht5_tts_hr

nikolab/speecht5_tts_hr — модель синтеза речи на хорватском языке, созданная дообучением SpeechT5 от Microsoft. Она преобразует текст в аудио и предназначена для озвучивания хорватских текстов. Модель использует архитектуру SpeechT5 с общими энкодером и декодером и отдельными сетями для текстовой и речевой модальностей. Для дообучения использован хорватский материал из VoxPopuli: около 43 часов размеченной речи от 83 дикторов. README сообщает, что испытания показали перспективные результаты, но модель плохо справляется с длинными входными текстами — свыше 20 слов; для таких случаев авторы рекомендуют разбивать текст на короткие фрагменты. Модель распространяется по лицензии MIT.

1685сент. 2024
textaudiomithugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей