/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
2 041–2 070 из 4 835
facebook
mms-tts-ppk

facebook/mms-tts-ppk — модель синтеза речи на основе текста для языка Papiamento (код ppk), созданная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; стохастический предсказатель длительности позволяет варьировать ритм произнесения, поэтому результат может меняться между запусками, если не зафиксировать seed. Модель предназначена для преобразования текста на Papiamento в речь. Она доступна через библиотеку Transformers версии 4.33 и новее. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование.

1120сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-rej

facebook/mms-tts-rej — модель синтеза речи на языке режанг из проекта Massively Multilingual Speech, разработанного Facebook. Она преобразует текст на режанге в речевую аудиоволну и подходит для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS: текстовый кодировщик на основе Transformer, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Это отдельный чекпойнт для режанга с 3,5 млн параметров; он доступен через Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторяемого результата нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-suc

facebook/mms-tts-suc — модель синтеза речи на западном субанонском языке (suc), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст в речевой сигнал и подходит для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, поточного модуля и декодера, сходного с HiFi-GAN. В архитектуру также входит стохастический предиктор длительности, поэтому одна и та же фраза может звучать с разным ритмом. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, а запуск поддерживается через Transformers версии 4.33 и новее. Модель предназначена для западного субанонского языка и не заявлена как многоязычная. Генерация недетерминирована: для повторения одного и того же результата требуется фиксированное начальное значение генератора случайных чисел. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1060сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-sus

facebook/mms-tts-sus — модель синтеза речи на языке сусу (код sus), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на сусу в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, декодер, подобный HiFi-GAN, и стохастический предиктор длительности. В метаданных указан размер 3,5 млн параметров; доступны веса PyTorch и Safetensors, а для работы подходит библиотека Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на сусу, например для голосовых интерфейсов и создания аудиоверсий материалов. Стохастический предиктор позволяет варьировать ритм речи; для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1340сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-taj

facebook/mms-tts-taj — модель синтеза речи на восточном тамангском языке, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на тамангском языке в речевую аудиоволну и подходит для озвучивания текстов и создания речи для приложений на этом языке. Модель основана на архитектуре VITS и содержит текстовый энкодер на базе Transformer, потоковый модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Для каждого языка MMS обучается отдельный чекпойнт. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4932сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tte

facebook/mms-tts-tte — модель синтеза речи для языка Bwanabwana, выпущенная в рамках проекта Massively Multilingual Speech компании Facebook. Это отдельный языковой чекпойнт семейства MMS-TTS на архитектуре VITS; число параметров — 3,5 млн. Модель принимает текст на Bwanabwana и генерирует речевую аудиоволну. VITS объединяет вариационный автоэнкодер, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор позволяет получать разные ритмические варианты для одного текста, поэтому результат может меняться между запусками; для повторяемого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
hamza-amin
mms-tts-urd-fine-tuned

Модель hamza-amin предназначена для синтеза речи на урду: она преобразует текст на урду, записанный арабским письмом, в речь. Это дообученная версия facebook/mms-tts-urd-script_arabic из семейства MMS, построенная на архитектуре VITS; размер модели — 3,6 млн параметров. Модель работает через Transformers и подходит для локального или серверного синтеза речи, а также для учебных и исследовательских сценариев. Модель обучалась на наборе codewithdark/urdu-tts. Количественной оценки качества не проводилось, а качество звучания зависит от обучающих данных. Она не предназначена для входного текста на Roman Urdu, других языков, клонирования голоса или идентификации говорящего; пригодность для пользовательского сервиса следует предварительно оценить на слух. Лицензия в предоставленных данных не указана.

1260февр. 2026
textaudiohugging-face
mlx-community
MOSS-Music-8B-Thinking-6bit

MLX Community подготовила 6-битную конверсию MOSS-Music-8B-Thinking для анализа музыки на компьютерах Apple Silicon. Это мультимодальная модель, принимающая аудио и текст и отвечающая текстом; исходная модель разработана командой OpenMOSS. Репозиторий содержит около 9,1 млрд параметров. Квантованы слои Qwen3, эмбеддинги токенов и выходной слой; аудиоэнкодер сохранён в bf16. По данным карточки, при сравнении с fp32 PyTorch модель сохраняет совпадение argmax следующего токена и близкие логиты. Модель предназначена для понимания музыки: анализа аудиозаписей, вокала и музыкальных структур, а также ответов на вопросы о музыке. Для загрузки требуется backend moss_music_mlx; напрямую через mlx_lm и mlx_vlm модель не загружается. Репозиторий распространяется по лицензии Apache-2.0.

741июнь 2026ctx131.1K
textaudioapache-2.0hugging-face
ujjwal5454
nepali-voice-engine-v4

Nepali Voice Engine v0.4 — модель преобразования текста в речь на непальском языке, представленная автором ujjwal5454. Это пакет для Transformers с архитектурой NepaliVoiceEngine и автокодирующим декодером речи; в релиз включены два токенизатора и конфигурации текстового энкодера T5 и аудиокодека DAC. Модель предлагает голосовые профили Aakriti, Sangeeta, Prabal и Baje. Модель предназначена для синтеза непальской речи из текста с выбором одного из предустановленных голосов. Для запуска нужны PyTorch и Transformers версии 4.46.1; выпуск не поддерживает Transformers 5.x. README указывает, что обученный чекпойнт происходит от Indic Parler-TTS, а декодер является производной Apache-2.0 реализации Parler-TTS. Условия использования чекпойнта следует сверять с NOTICE и LICENSE. В README описаны проверки конфигурации, загрузки и синтеза на случайных весах, однако качество обученных голосов этими проверками не оценивалось. Поэтому по карточке нельзя заключить, насколько естественно модель звучит или каковы её ограничения по произношению и качеству аудио.

7441сент. 2026
textaudiohugging-face
Mungert
orpheus-3b-0.1-ft-GGUF

Mungert/orpheus-3b-0.1-ft-GGUF — англоязычная модель преобразования текста в речь, разработанная Mungert. Она основана на Meta Llama 3.2 3B Instruct и canopylabs/orpheus-3b-0.1-pretrained и представлена в формате GGUF для запуска средствами, совместимыми с этим форматом. Модель предназначена для синтеза речи из текста, в том числе на устройствах с ограниченными ресурсами: CPU, edge-устройствах и системах с небольшим объёмом GPU-памяти. В репозитории описана ультранизкобитная квантизация с методом IQ-DynamicGate, который распределяет точность по слоям и защищает наиболее критичные компоненты. Доступны варианты с квантизацией 1–2 бита; для отдельных конфигураций заявлено снижение perplexity по сравнению со стандартной квантизацией при небольшом увеличении размера и сопоставимой скорости вывода. Ключевые ограничения — англоязычная специализация, возможная потеря качества из-за агрессивной низкобитной квантизации и зависимость совместимости от программного обеспечения, поддерживающего GGUF и соответствующие типы квантизации. Приведённые в README бенчмарки выполнены для Llama-3-8B-Instruct с контекстом 2048 токенов и не являются прямой оценкой качества синтеза речи этой модели. Лицензия — Apache-2.0.

3873апр. 2025
textaudioapache-2.0hugging-face
cstr
qwen3-asr-1.7b-ja-anime-GGUF

Qwen3-ASR-1.7B-JA-Anime-Galgame-GGUF — это квантованная версия модели автоматического распознавания речи Qwen3-ASR-1.7B, адаптированная upstream-разработчиком jaykwok для японской аниме- и галгейм-речи. Репозиторий cstr/qwen3-asr-1.7b-ja-anime-GGUF содержит только конвертацию весов в формат GGUF и их квантование; дополнительное обучение, дообучение, объединение или дистилляция не выполнялись. Модель предназначена для транскрибации аудио и рассчитана на использование с CrispASR и backend Qwen3. Архитектура включает 24-слойный Whisper-подобный аудиоэнкодер с размерностью 1024 и 16 головами внимания, двухслойный MLP-проектор 1024 → GELU → 2048 и 28-слойный декодер Qwen3 с размерностью 2048, 16 Q-головами и 8 KV-головами, SwiGLU и словарём из 151 936 GPT-2 BPE-токенов. Модель поддерживает более 30 языков, включая японский, английский и китайский, с улучшенной работой на японской речи из аниме и игр. Размер доступных файлов составляет около 1,3 ГБ для Q4_K и 2,5 ГБ для Q8_0; Q4_K рекомендован для большинства сценариев, а Q8_0 обеспечивает более высокое качество ценой большего потребления памяти. К сильным сторонам относятся специализация на японской аниме- и игровой речи, многоязычность и возможность локального запуска в компактном GGUF-формате. К ограничениям относятся компромисс между качеством и требованиями к памяти при квантовании, а также отсутствие в README данных о размере контекста, точных метриках качества, устойчивости к шуму и характеристиках других типов аудио. Модель распространяется по лицензии Apache 2.0 согласно лицензии базовой модели.

2.1K4июль 2026
textaudioapache-2.0hugging-face
UBC-NLP
Simba-TTS-tsn

Карточка модели UBC-NLP/Simba-TTS-tsn на Hugging Face совпадает с карточкой UBC-NLP/Simba-TTS-afr, поэтому описание составлено по ней. Simba-TTS-afr — модель синтеза речи на африкаанс из семейства Simba, разработанного UBC-NLP. Она преобразует текст в естественно звучащую речь и предназначена для голосовых интерфейсов и других сценариев озвучивания на африкаанс. В README модель отнесена к серии Simba-TTS и названа MMS-TTS; метаданные указывают архитектуру VITS, библиотеку Transformers и размер 3,5 млн параметров. Модель обучалась с использованием SimbaBench, набора данных для африканских языков. Модель принимает текст и генерирует аудио. README указывает африкаанс как целевой язык этой версии; серия ориентирована на африканские языки и языки с ограниченными ресурсами. Лицензия — CC BY 4.0. Метаданные помечают модель как automatic speech recognition, тогда как README описывает её назначение как text-to-speech; поэтому классификация задачи в каталоге может расходиться с назначением, заявленным авторами.

700май 2025
textaudiocc-by-4.0hugging-face
UBC-NLP
Simba-TTS-xho

Карточка модели UBC-NLP/Simba-TTS-xho на Hugging Face совпадает с карточкой UBC-NLP/Simba-TTS-afr, поэтому описание составлено по ней. Simba-TTS-afr — модель синтеза речи на африкаанс из семейства Simba, разработанного UBC-NLP. Она преобразует текст в естественно звучащую речь и предназначена для голосовых интерфейсов и других сценариев озвучивания на африкаанс. В README модель отнесена к серии Simba-TTS и названа MMS-TTS; метаданные указывают архитектуру VITS, библиотеку Transformers и размер 3,5 млн параметров. Модель обучалась с использованием SimbaBench, набора данных для африканских языков. Модель принимает текст и генерирует аудио. README указывает африкаанс как целевой язык этой версии; серия ориентирована на африканские языки и языки с ограниченными ресурсами. Лицензия — CC BY 4.0. Метаданные помечают модель как automatic speech recognition, тогда как README описывает её назначение как text-to-speech; поэтому классификация задачи в каталоге может расходиться с назначением, заявленным авторами.

3041май 2025
textaudiocc-by-4.0hugging-face
thealper2
speecht5-tts-turkish

thealper2/speecht5-tts-turkish — модель синтеза турецкой речи, созданная автором репозитория дообучением SpeechT5 от Microsoft на наборе erenfazlioglu/turkishvoicedataset. Она принимает турецкий текст и вместе с вокодером microsoft/speecht5_hifigan генерирует аудио с частотой 16 кГц. Базовая архитектура SpeechT5 насчитывает 144 млн параметров; в этой версии расширен токенизатор SentencePiece: добавлены турецкие буквы, а текстовые эмбеддинги увеличены с 81 до 99 строк. Для корректной работы требуется процессор из этого репозитория. Модель рассчитана на озвучивание турецких фраз и новостных текстов одним синтетическим голосом. В README приведена оценка WER 0,1538 на фиксированном тесте из 30 предложений; эти показатели получены через распознавание синтезированного аудио и зависят также от ошибок распознавателя. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Качество хуже на специфических турецких буквах, особенно ğ и ş; длинные высказывания рекомендуется делить на части по границам предложений. Цифры и сокращения нужно предварительно раскрывать словами. Голос и просодика отражают синтетические данные, преимущественно новостного стиля; модель не предназначена для других языков, клонирования голоса или управления несколькими голосами.

10.0K2сент. 2026ctx600
textaudiocc-by-nc-4.0hugging-face
speechbrain
tts-hifigan-libritts-22050Hz

Это вокодер HiFi-GAN от SpeechBrain, обученный на многоголосом датасете LibriTTS. Модель принимает спектрограмму и преобразует её в звуковую волну с частотой дискретизации 22 050 Гц; обычно её используют после модели синтеза речи, которая преобразует текст в спектрограмму. Вокодер подходит для построения англоязычных систем синтеза речи и преобразования спектрограмм в аудио. Для работы требуется спектрограмма, поэтому сам по себе этот репозиторий не выполняет полный цикл преобразования текста в речь. Модель распространяется по лицензии Apache-2.0.

222K6окт. 2022
textaudioapache-2.0hugging-face
Jinstudio
VibeVoice-AcousticTokenizer

Карточка модели Jinstudio/VibeVoice-AcousticTokenizer на Hugging Face совпадает с карточкой microsoft/VibeVoice-AcousticTokenizer, поэтому описание составлено по ней. VibeVoice Acoustic Tokenizer — акустический токенизатор Microsoft, компонент семейства VibeVoice для работы с речевым аудио. Он преобразует аудио в непрерывные речевые представления и поддерживает обратное декодирование; токенизатор используется в системах VibeVoice для синтеза речи и распознавания речи. В README указана частота кадров 7,5 Гц, что позволяет компактно представлять длинные аудиопоследовательности. Модель предназначена для извлечения признаков из аудио и как компонент конвейеров TTS и ASR, включая генерацию выразительной многосторонней речи и обработку разговорного аудио. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — MIT. Для подключения README описывает установку из исходного кода до включения токенизатора в официальный релиз Transformers.

150июль 2026
textembeddingmithugging-face
microsoft
VibeVoice-AcousticTokenizer

VibeVoice Acoustic Tokenizer — акустический токенизатор Microsoft, компонент семейства VibeVoice для работы с речевым аудио. Он преобразует аудио в непрерывные речевые представления и поддерживает обратное декодирование; токенизатор используется в системах VibeVoice для синтеза речи и распознавания речи. В README указана частота кадров 7,5 Гц, что позволяет компактно представлять длинные аудиопоследовательности. Модель предназначена для извлечения признаков из аудио и как компонент конвейеров TTS и ASR, включая генерацию выразительной многосторонней речи и обработку разговорного аудио. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — MIT. Для подключения README описывает установку из исходного кода до включения токенизатора в официальный релиз Transformers.

1.0K18февр. 2026
textembeddingmithugging-face
maitrix-org
Voila-autonomous-preview

Карточка модели maitrix-org/Voila-autonomous-preview на Hugging Face совпадает с карточкой maitrix-org/Voila-Tokenizer, поэтому описание составлено по ней. Voila-Tokenizer — аудиотокенизатор семейства Voila от Maitrix, построенный на архитектуре EnCodec и представленный в формате safetensors. Он предназначен для преобразования аудио в представление, пригодное для работы голосовых языковых моделей и обратного преобразования в аудио; в карточке Hugging Face основная задача отмечена как audio-to-audio. Проект Voila описывает применение токенизатора в единой системе голосовых задач, включая распознавание речи, синтез речи, перевод речи и голосовой диалог в реальном времени. В метаданных перечислены английский, китайский, французский, немецкий, японский и корейский языки. Для семейства Voila заявлены потоковая обработка с низкой задержкой и поддержка множества голосов; конкретные параметры и результаты для этого токенизатора отдельно не приведены. Модель распространяется по лицензии MIT.

4519март 2025ctx8.2K
audiomithugging-face
somosnlp-hackathon-2022
wav2vec2-base-finetuned-sentiment-classification-MESD

Это модель SomosNLP, дообученная на базе facebook/wav2vec2-base для классификации эмоциональной окраски испанской речи по аудио. Она использует архитектуру Wav2Vec2ForSequenceClassification; размер модели — 113,3 млн параметров. На тестовой выборке MESD указаны точность 0,9308 и потеря 0,3071. Модель подходит для анализа настроения в голосовых записях и классификации аудиоматериалов по эмоциональной окраске. В README также описаны возможные сценарии подбора музыки и медиа по настроению и обнаружения звуковых событий при расширении набора классов. Однако исходная модель обучена именно на эмоциях в речи и не заявлена как детектор драк или других событий. MESD содержит около 1200 студийных записей длительностью примерно одну секунду; для обучения использовали 890 записей. Поэтому качество может снижаться на шумном аудио и при фоновой музыке, а класс «страх» распознаётся хуже остальных. Лицензия — Apache-2.0.

18710март 2022
textapache-2.0hugging-face
techiaith
wav2vec2-btb-cv-ft-cv-cy

techiaith/wav2vec2-btb-cv-ft-cv-cy — модель распознавания речи на валлийском языке, разработанная Techiaith. Это дообученная версия techiaith/wav2vec2-xlsr-53-ft-btb-cv-cy: энкодер базовой модели заморожен, обучение проводилось на Common Voice 18 для валлийского языка. Модель построена на архитектуре wav2vec2 и имеет около 402,7 млн параметров. Модель преобразует аудио в текст и предназначена для автоматической расшифровки валлийской речи. На стандартном тестовом наборе Common Voice 18 для валлийского языка она показала WER 24,93 и CER 6,55; при использовании сопутствующей языковой модели KenLM показатели составили WER 15,30 и CER 4,57. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

250окт. 2024
textaudioapache-2.0hugging-face
LeBenchmark
wav2vec2-FR-3K-large

LeBenchmark/wav2vec2-FR-3K-large — предварительно обученная модель wav2vec 2.0 Large, выпущенная проектом LeBenchmark. Её энкодер обучен на 2,9 тыс. часов французской речи, включая спонтанную, прочитанную и вещательную речь. В метаданных указано 402,7 млн параметров; модель доступна в форматах PyTorch, Flax и safetensors под лицензией Apache-2.0. Модель предназначена для извлечения речевых представлений, которые можно использовать как признаки для систем распознавания речи, распознавания и верификации говорящего, а также разделения источников звука. Её можно дообучать для распознавания речи с CTC или подключать как замороженный энкодер в речевые конвейеры. Карточка отмечает, что качество преобразования речи в текст с CTC может быть ниже уровня современных лучших систем; для ряда downstream-задач требуется дообучение. Длина контекста в предоставленных данных не указана.

1121март 2022
textembeddingapache-2.0hugging-face
greenw0lf
wav2vec2-large-xls-r-2b-frisian-cv-8

Модель greenw0lf/wav2vec2-large-xls-r-2b-frisian-cv-8 — дообученная автором для магистерской работы версия facebook/wav2vec2-xls-r-2b. Это плотная модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC и 2,8 млрд параметров, принимающая аудиозаписи и распознающая речь на фризском языке. Она обучена на 41 часе валидированных фризских записей из Common Voice 8.0; автор приводит WER 0,0405 на выборке оценки и 0,0422 на тестовой выборке. Модель предназначена для транскрибирования фризской речи, например записей, похожих на данные Common Voice. При обучении и оценке использовались разделы фризского набора Common Voice 8.0, поэтому приведённые показатели относятся к этой тестовой конфигурации. Среди ограничений автор указывает отсутствие повторного ранжирования с языковой моделью и использование версии Common Voice 8.0 вместо более поздней 13.0. Лицензия — Apache-2.0.

1780июль 2023
textaudioapache-2.0hugging-face
Scicom-intl
xcodec2-25TPS-24k

Это дообученная версия X-Codec-2.0 от Scicom International, основанная на HKUSTAudio/xcodec2. Модель кодирует и обрабатывает речь с латентной частотой 25 токенов в секунду и частотой дискретизации 24 кГц; исходная версия использует 50 токенов в секунду. Репозиторий описывает обучение на наборах речевых данных, включая малайские подкасты и датасеты для распознавания и синтеза речи. Модель предназначена для аудио-аудио сценариев и может служить речевым аудиокодеком в системах моделирования и синтеза речи. В карточке указаны архитектура XCodec2 и формат весов safetensors. Подробная инструкция по запуску и условия лицензии в доступных материалах не описаны.

839сент. 2025
audiohugging-face
willwade
byt5-g2p-multilingual-tiny

Это дообученная байтовая модель ByT5 для преобразования написания слов в фонемную транскрипцию IPA. Она принимает слово с языковым кодом ISO 639-3 и, для части языков, уточнением варианта, а выдаёт фонемы через пробел в соглашении, основанном на gruut и совместимом с голосами семейства Piper. Модель разработана Will Wade и обучена на гармонизированном корпусе из 4,12 млн пар из gruut и WikiPron с выравниванием соглашений IPA с помощью M2M-аллайнера. Модель поддерживает 142 языковых варианта, включая варианты английского, португальского и испанского, а также разделения для валлийского, армянского, бенгальского и китайских языков. Архитектура — T5ForConditionalGeneration; в метаданных указано 11,1 млн параметров. Доступны веса safetensors и экспорт ONNX для работы на CPU. В тесте на 4 тыс. примеров точное совпадение составило 0,718 по micro-метрике и 0,619 по macro-метрике. Модель предназначена для получения произношения слов и подготовки произносительных словарей для синтеза речи. Она преобразует текст в фонемы, но сама аудио не синтезирует; точность зависит от языка, его варианта и принятых соглашений транскрипции. Лицензия — CC BY-SA 4.0.

1.7K0авг. 2026
textaudiocc-by-sa-4.0hugging-face
Loke-60000
christina-TTS

Christina TTS — дообученная модель синтеза речи на базе Qwen/Qwen3-TTS-12Hz-0.6B-Base. Разработчик настроил два варианта пользовательского голоса, вдохновлённого Курису Макисэ из визуальной новеллы Steins;Gate: christina для преимущественно английской речи и christina-jp для преимущественно японской. Это фанатская реконструкция, не связанная с официальной актрисой озвучивания персонажа. Модель предназначена для преобразования текста в речь с характерной подачей выбранного голоса. Английский вариант ориентирован на естественные английские интонацию и ритм; японский — на естественное звучание японской речи. При использовании каждого варианта для другого из этих языков могут проявляться особенности акцента и интонации. Хотя базовая модель теоретически поддерживает и другие языки, качество дообученной версии для них не гарантируется. Модель распространяется в формате safetensors; README приводит установку через пакет qwen-tts. Информация о лицензии в предоставленных данных отсутствует.

911март 2026ctx131.1K
textaudiohugging-face
efwkjn
cohere-asr-ja-v0.1

efwkjn/cohere-asr-ja-v0.1 — японский вариант Cohere Transcribe, созданный разработчиком репозитория путём дообучения CohereLabs/cohere-transcribe-03-2026. Это модель распознавания речи, ориентированная на японскую речь общего содержания и аниме; в README указана обработка аудиофрагментов длительностью до 35 секунд, в среднем около 25 секунд. Модель принимает аудио и выдаёт текстовую транскрипцию. В README приведены оценки на нескольких наборах данных, включая FLEURS, JSUT, Blue Archive и Nekopara, а также сравнение с некоторыми вариантами Whisper и NUE-ASR. Результаты различаются в зависимости от набора данных, поэтому они не гарантируют аналогичное качество на других типах аудио. Модель опубликована в формате safetensors; отдельная лицензия для этой версии в доступных сведениях не указана.

14510май 2026ctx2K
textaudiohugging-face
BUT-FIT
DiCoW_v3_3_large

DiCoW v3.3 large — модель распознавания речи целевого говорящего, разработанная командой BUT Speech@FIT. Она транскрибирует речь выбранного участника в аудиозаписи с несколькими говорящими, используя результаты диаризации для настройки распознавания. Модель дообучена на базе Whisper large-v3 и содержит слои FDDT, которые преобразуют сигналы диаризации на уровне кадров; размер модели — 905,2 млн параметров. Модель рассчитана на аудио со смешанной речью, например записи встреч и разговоров. Вход включает 30-секундный аудиофрагмент и четырёхканальную STNO-маску; маску и диаризацию можно подготовить через демонстрационное приложение DiCoW inference. Модель обучалась на AMI, NOTSOFAR-1, LibriMix и синтетических смесях LibriSpeech. Карточка сообщает о снижении tcpWER примерно на 50% относительно DiCoW v1 на Libri3Mix. Качество распознавания зависит от точности диаризации. При полном перекрытии речи более чем двух говорящих модель может хуже отделять целевого участника. Репозиторий распространяется по лицензии CC BY 4.0.

2433июнь 2026
textaudiocc-by-4.0hugging-face
RyeAI
ekko-v1-tiny

Ekko v1 Tiny — компактная модель распознавания датской речи в текст, разработанная RyeAI. Это дообученная на базе nvidia/parakeet-rnnt-110m-da-dk модель FastConformer RNN-T размером 110 млн параметров, предназначенная для локального офлайн-распознавания речи. Она поддерживает выдачу временных меток слов и доступна в форматах NeMo, GGUF и ONNX, включая варианты квантования для локального запуска на CPU и в браузере. Модель лучше всего подходит для чёткой речи одного говорящего в ровном темпе, например для чтения вслух и диктовки. В описанном бенчмарке средний WER составил 12,37%; результаты на чтении заметно лучше, чем на спонтанных разговорах. Выходной текст пишется строчными буквами и не содержит пунктуации; для восстановления регистра и знаков препинания можно использовать отдельную модель RyeAI/ekko-pnc. Модель предназначена только для датского языка. Шумная речь и перекрывающиеся голоса отдельно не оценивались, а диктовка не проверялась как самостоятельный тестовый набор. Лицензия указана как other, поэтому условия использования следует уточнить в карточке репозитория.

4903сент. 2026
textaudiootherhugging-face
Edge0
GPA-v1.5-onnx-runtime

Edge0/GPA-v1.5-onnx-runtime — набор ONNX Runtime-ресурсов для локального запуска GPA v1.5, опубликованный для использования вместе с отдельным кодом среды выполнения GPA. Он предназначен для синтеза речи и включает варианты основной модели fp16 и int4, а также ресурсы токенизатора голоса для регистрации голосов. В README также описаны сценарии запуска через CLI, FastAPI и браузерный интерфейс, включая проверку распознавания речи. Модель основана на Qwen/Qwen3-0.6B и распространяется в форматах ONNX и PyTorch с файлами safetensors. В метаданных указаны английский и китайский языки. Лицензия — Apache-2.0. Репозиторий содержит только ресурсы модели: для работы необходим отдельный код GPA v1.5 ONNX Runtime.

2422апр. 2026
textaudioapache-2.0hugging-face
oddadmix
Kokoro-7M-Distill

Kokoro-7M-Distill — англоязычная модель синтеза речи, созданная дистилляцией Kokoro-82M. Она содержит около 7,48 млн параметров, работает с фонемами и использует архитектуру Kokoro / StyleTTS2: 12 общих слоёв ALBERT, предсказатель просодии и декодер ISTFTNet. Модель выдаёт речь с частотой дискретизации 24 кГц и рассчитана на быстрый автономный запуск на CPU, в том числе на телефонах; в описанном сравнении она синтезировала речь в 4,1 раза быстрее версии на 82 млн параметров. Модель предназначена для локального синтеза английской речи из текста, например для озвучивания коротких фраз без подключения к серверу. Доступен один голос. Лучше всего подходит для обычной прозы: пунктуация и необычное форматирование передаются фронтенду как есть и могут ухудшить результат. Лицензия — Apache-2.0.

84338сент. 2026
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей