/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
961–990 из 4 835
vldsavelyev
guitar_tab_gpt2_bass

vldsavelyev/guitar_tab_gpt2_bass — модель генерации текста на архитектуре GPT-2, обученная на датасете guitar_tab с табулатурами в формате alphaTex, отфильтрованными до партий для четырёхструнной бас-гитары. Она предназначена для генерации басовых табулатур, продолжения музыкальных фрагментов и создания черновых басовых партий по текстовому контексту. Репозиторий содержит веса PyTorch; контекст модели составляет 1024 токена. В метаданных указана дата публикации 2 апреля 2023 года. Лицензия и размер модели в доступных данных не приведены.

1490апр. 2023ctx1K
texthugging-face
AlicanKiraz0
Kizagan-TTS-v1.0

Kızagan-TTS-v1.0 — турецкая модель синтеза речи, выпущенная Alican Kiraz на основе VoxCPM2 от OpenBMB. Она преобразует текст в монофоническую речь с частотой 48 кГц; при генерации можно передать аудиозапись-образец, чтобы обусловить голос. Для нескольких фраз README рекомендует подавать отдельные предложения строками и повторно использовать одну и ту же запись-образец. Модель дообучена на закрытом односпикерном турецком корпусе TR-Voice-TTS. Выпуск v1.0 содержит объединённый чекпойнт Step 1500; повторное дообучение при подготовке релиза не проводилось. Карточка приводит ограниченные результаты прослушивания для голоса диктора обучающего корпуса, но они не подтверждают сходство голоса для незнакомых дикторов, акцентов или языков. Указанная лицензия — Apache-2.0.

1.4K65сент. 2026
textaudioapache-2.0hugging-face
remsky
kokoro-inno-clone-tuner

kokoro-inno-clone-tuner — дообученная модель remsky для настройки голосов Kokoro-82M по короткому аудиофрагменту. Она извлекает голосовые характеристики из записи и формирует совместимый с Kokoro голосовой пакет; синтез речи выполняет базовая модель Kokoro через совместимый с ней конвейер. Модель использует энкодер говорящего WeSpeaker ResNet34 и компоненты для подстройки тембра и просодии. Размер весов составляет около 24 МБ в FP16; для работы используется файл safetensors. Модель предназначена для клонирования голоса с нуля по образцу и синтеза английской речи новым текстом с похожими тембром, высотой и темпом. Для образца требуется чистая запись одного говорящего длительностью от 3 до 30 секунд. По данным карточки, настройка выполняется примерно за 0,05 секунды обработки на секунду аудио на CPU после загрузки модели. Модель обучена преимущественно на английских данных. Сходство тембра и просодии ограничено диапазоном голосов и просодических характеристик базовых голосовых пакетов Kokoro; тембр может частично отличаться ради качества и стабильности звука. Лицензия — Apache-2.0.

967K25авг. 2026
textaudioapache-2.0hugging-face
wyz
librimix_tse_clean_2mix_training_td_speakerbeam_16k

Это модель выделения целевого говорящего из смешанной аудиозаписи, созданная wyz на базе рецепта LibriMix для ESPnet. Она принимает аудио с несколькими говорящими и предназначена для извлечения речи выбранного говорящего; имя эксперимента указывает на SpeakerBeam с обучением по целевому эмбеддингу говорящего и частотой дискретизации 16 кГц. В карточке приведены результаты на тестовом и проверочном наборах LibriMix 2mix clean, включая SI-SNR около 12,66 дБ и ESTOI около 83. Это специализированный экспериментальный чекпойнт с оценками для конкретного сценария смешения двух источников; данные не описывают качество на других наборах, частотах дискретизации или в реальных акустических условиях. Репозиторий упакован для ESPnet и использует формат PyTorch. Сведения о лицензии в предоставленных источниках отсутствуют.

221авг. 2026
audiohugging-face
Aratako
MioCodec-25Hz-24kHz

MioCodec-25Hz-24kHz — лёгкий нейронный аудиокодек от Aratako для компактного представления и восстановления речи, предназначенный для spoken language modeling. Модель использует архитектуру на основе реализации Kanade-Tokenizer и включает декодер iSTFTHead, который синтезирует waveform напрямую, без внешнего вокодера. Размер модели — 132 млн параметров; частота дискретных токенов — 25 Гц, словарь содержит 12 800 токенов, частота дискретизации выходного аудио — 24 кГц, заявленный битрейт — 341 бит/с. Кодек разделяет речь на дискретные токены содержания, передающие фонетическую и языковую информацию, и глобальный вектор акустических характеристик, отражающий голос говорящего и особенности записи. Это подходит для реконструкции речи и преобразования голоса: при zero-shot voice conversion можно сочетать токены содержания исходной записи с глобальным вектором голоса-образца. В обучении использовались WavLM-base+ и наборы данных для речи; README подробно описывает преимущественно японские и английские обучающие данные. Метаданные также указывают поддержку английского, японского, нидерландского, французского, немецкого, итальянского, польского, португальского, испанского, корейского и китайского языков. Модель опубликована под лицензией MIT. Заявлены низкий битрейт, быстрое выполнение и восстановление речи с высокой точностью, однако README не приводит количественных результатов оценки качества. Это аудиокодек, а не универсальная модель для генерации речи по тексту; русскоязычная поддержка не заявлена.

16K17февр. 2026
audiomithugging-face
Tree-AI-lab
mms-tts-bau-finetuned

Tree-AI-lab/mms-tts-bau-finetuned — модель синтеза речи, полученная дообучением facebook/mms-tts-aka на голосе JH из поднабора bau_tts набора Google WaxalNLP. Она преобразует текст на бауле в речь; модель построена на архитектуре VITS и содержит 3,6 млн параметров. Для токенизации используется Tree-AI-lab/mms-tts-bau-tokenizer, выходное аудио рассчитано на частоту 16 кГц. Качество синтеза не оценивалось формально; при подготовке использовались аудиоклипы длительностью 1–30 секунд и последовательности до 500 токенов. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1240сент. 2026
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gde

facebook/mms-tts-gde — модель синтеза речи на языке гуде (Gude, код gde), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт MMS-TTS обучен для каждого языка проекта. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль, стохастический предиктор длительности и декодер формы сигнала в стиле HiFi-GAN. В метаданных указаны 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Чекпойнт предназначен для озвучивания текста на гуде. Стохастический предиктор длительности может давать разные ритмы произношения при одинаковом вводе, поэтому для повторяемого результата требуется фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tdj

facebook/mms-tts-tdj — модель синтеза речи на языке таджио (Tajio, tdj), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS на архитектуре VITS: модель принимает текст и генерирует речевую аудиоволну. VITS объединяет вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста и декодер, построенный по принципу HiFi-GAN; стохастический предсказатель длительности позволяет получать варианты с разным ритмом. Модель предназначена для озвучивания текста на таджио. Она доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторения того же аудио нужно фиксировать seed. Чекпойнт содержит 3,5 млн параметров и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1080сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tur

facebook/mms-tts-tur — модель синтеза речи на турецком языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует текстовую последовательность в речевую аудиоволну и предназначена для озвучивания турецких текстов. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт проекта MMS-TTS; модель доступна через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного текста, поэтому результат может меняться между запусками; для воспроизводимого аудио требуется фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение. Карточка описывает синтез турецкой речи; иных языков или возможностей не заявлено.

3.6K30сент. 2023
textaudiocc-by-nc-4.0hugging-face
Tilas
neutts-air-darija-v1

Tilas представил NeuTTS Air — дообученную версию neuphonic/neutts-air для синтеза речи на марокканском диалекте арабского языка (дариже). Модель содержит 552,8 млн параметров, использует архитектуру Qwen2 и выдаёт речевые токены NeuCodec; для преобразования их в аудио нужен декодер neuphonic/neucodec. Контекст модели — 32 768 токенов. Модель предназначена для генерации дариджской речи по тексту. Обучение выполнено на токенах из Tilas/MoulSot-Tokens-v1, полученных из корпуса MoulSot с примерно 101,9 часами транскрибированной речи. При инференсе необходимо использовать тот же фонемизатор на основе espeak-ng, что применялся при обучении. Качество произношения ограничено тем, что espeak-ng использует фонологические правила современного литературного арабского, а не специализированную фонемизацию дариджи; французские заимствования могут звучать с английским оттенком. Транскрипты автоматически созданы Gemini-2.5-Pro и не проверены людьми, а исходные записи с YouTube различаются по акустическим условиям. Модель распространяется по лицензии Apache-2.0.

560авг. 2026ctx32.8K
textapache-2.0hugging-face
neuphonic
neutts-nano-spanish

NeuTTS Nano Spanish — модель синтеза речи от Neuphonic, предназначенная для локального запуска на CPU и устройствах с ограниченными ресурсами. Она преобразует испанский текст в речь, используя короткий аудиозаписанный образец голоса и его текстовую расшифровку для клонирования голоса и генерации речи в похожем стиле. Модель использует компактную языковую основу класса Nano для генерации TTS-токенов и аудиокодек NeuCodec с одним кодбуком. В README указано около 116,8 млн активных параметров основы и около 228,7 млн параметров с учётом связанных эмбеддингов и выходного слоя; заявлена оптимизация для синтеза в реальном времени или быстрее на CPU. Репозиторий содержит веса safetensors, а README также упоминает варианты квантования GGUF. Выходы снабжаются водяными знаками. Модель рассчитана на испанский язык, локальных голосовых помощников, встраиваемые устройства и сценарии, где текст и аудио должны оставаться на устройстве. Для работы требуются зависимости NeuTTS и espeak-ng; для GGUF нужен llama-cpp-python. Карточка указывает лицензию other, но конкретные условия лицензии в предоставленных данных не раскрыты. Качество клонирования зависит от чистоты и характеристик образца: рекомендуются монофонические WAV-записи длительностью 3–15 секунд с естественной непрерывной речью.

52117февр. 2026
textaudiootherhugging-face
tranhuyluyen
piper-voices-thai

Репозиторий tranhuyluyen/piper-voices-thai содержит две тайские модели синтеза речи, женский и мужской голоса, преобразованные из дообученных моделей MMS-TTS в формат Piper. Обе используют архитектуру VITS и поставляются в ONNX вместе с конфигурациями Piper; частота дискретизации — 22,05 кГц. Их можно загружать через piper-tts для синтеза тайской речи из текста. Модели предназначены для локального синтеза речи, например озвучивания коротких сообщений и создания аудиофайлов тайской речи. Текст обрабатывается посимвольно без фонемизации; алфавит модели включает 71 тайский символ. Лицензия репозитория — CC BY-NC 4.0. Известное ограничение: словарь содержит только цифры 0, 1, 2 и 4, поэтому остальные цифры пропускаются; перед синтезом числа следует записывать словами.

1.1K0авг. 2026
textaudiocc-by-nc-4.0hugging-face
dsinghvi
qwen3-1.7b-omnitoken-ckpt23447

Это исследовательский чекпойнт Qwen3 плотной авторегрессионной архитектуры с 1,7 млрд параметров, разработанный dsinghvi; он использует общий токенизатор для текста и аудиотокенов. Модель предназначена для генерации текста и речевых сценариев: синтеза речи из текста, распознавания речи, продолжения текстовой или речевой последовательности и преобразования речи в речь. Аудиокодирование и декодирование выполняется SNAC 24 кГц; для синтеза можно использовать аудио-пример для голосового кондиционирования. Карточка описывает итерацию обучения 23 447 и отмечает, что синтез речи дал слышимые результаты в тестах проекта. Распознавание речи и межмодальное продолжение пока экспериментальны: результаты могут быть низкого качества, повторяться или отсутствовать. Чекпойнт не включает аудиофайлы; входное или референсное аудио нужно предоставить отдельно. Лицензия — Apache-2.0.

180авг. 2026ctx4.1K
textapache-2.0hugging-face
HumeAI
tada-1b

TADA-1B — модель синтеза речи и генерации текста с речью, разработанная HumeAI на базе Llama 3.2 1B. Она объединяет текст и акустические представления в синхронизированный поток с соответствием 1:1 между текстовыми токенами и речевыми векторами. Архитектура авторегрессионная; модель содержит 1,2 млрд параметров и имеет контекст длиной 131 072 токена. Модель предназначена для преобразования текста в речь, продолжения речи и совместной генерации текста и аудио. При синтезе каждый шаг обрабатывает один текстовый токен, а длительность речевого фрагмента определяется динамически. В README заявлены выразительная, естественная речь, снижение вычислительных затрат по сравнению с обработкой аудио фиксированной частоты кадров и уменьшение галлюцинаций в транскрипте. Указан общий энкодер HumeAI/tada-codec для моделей семейства. Карточка сообщает об английском языке; данные не подтверждают поддержку других языков. Модель распространяется по лицензии Llama 3.2. Для её использования могут потребоваться совместимый код и энкодер TADA, а заявленные качества и эффективность в доступной карточке не сопровождаются подробностями оценки.

7.5K241янв. 2026ctx131.1K
textllama3.2hugging-face
FranckyB
VibeVoice-1.5B

FranckyB публикует VibeVoice-1.5B — модель синтеза речи на базе архитектуры VibeVoice. Она преобразует текст диалогов в выразительную разговорную речь, в том числе для подкастов и длинных многоязычных по составу диалогов. В README указана базовая модель Qwen2.5 1.5B; архитектура сочетает LLM, которая учитывает контекст и ход диалога, и диффузионную голову для генерации акустических деталей. Модель использует акустический и семантический непрерывные токенизаторы с частотой 7,5 Гц. Модель рассчитана на контекст до 64 тысяч токенов, генерацию аудио длительностью до примерно 90 минут и диалоги с участием до четырёх говорящих. Поддерживаются английский и китайский языки. Репозиторий содержит веса Safetensors, библиотека — Transformers; лицензия — MIT. Карточка позиционирует модель для исследований и разработки и не рекомендует применять её в коммерческих или реальных сценариях без дополнительной проверки. Она создаёт только речь, не генерирует фоновый звук или музыку, не поддерживает перекрывающуюся речь, а тексты на других языках могут давать непредсказуемый результат. Возможны смещения и ошибки; в сгенерированное аудио встроены слышимый дисклеймер и водяной знак.

1840янв. 2026
textaudiomithugging-face
bezzam
VibeVoice-1.5B-hf

VibeVoice-1.5B-hf — совместимая с Transformers версия модели VibeVoice, разработанной Microsoft; эту версию внёс Eric Bezzam. Модель предназначена для синтеза выразительной длинной речи по тексту, включая диалоги и подкасты с несколькими собеседниками. В архитектуре сочетаются языковая модель и диффузионная голова; акустический и семантический токенизаторы работают с частотой 7,5 Гц. Модель может генерировать аудио длительностью до 90 минут и поддерживает до четырёх голосов. Модель принимает текст и может использовать референсное аудио для клонирования голоса. По данным карточки, она обучена на английских и китайских данных; поддержка других языков не заявлена. В сгенерированное аудио автоматически добавляются слышимое уведомление об ИИ и незаметная водяная метка. Карточка ограничивает предполагаемое применение исследованиями и разработкой и не рекомендует коммерческое или реальное применение без дополнительной проверки. Модель не предназначена для фоновой музыки и звуковых эффектов, не моделирует перекрывающуюся речь; качество и точность текста могут быть непредсказуемыми. Клонировать голос реального человека следует только при наличии явного записанного согласия. Лицензия — MIT.

2490март 2026ctx131.1K
textaudiomithugging-face
vibevoice
VibeVoice-7B-hf

VibeVoice-7B-hf — совместимая с Transformers версия модели VibeVoice, разработанной Microsoft и опубликованной в Hugging Face пользователем Eric Bezzam. Она предназначена для синтеза выразительной длинной разговорной речи по тексту: например, подкастов с несколькими участниками. Модель поддерживает генерацию аудио длительностью до 45 минут и до четырёх голосов, а также клонирование голоса по предоставленному аудиопримеру. Архитектура сочетает LLM для понимания текста и хода диалога с диффузионной головой для генерации акустических деталей. Акустический и семантический токенизаторы работают с частотой 7,5 Гц. В качестве базовой модели используется Qwen2.5 7B. Карточка заявляет поддержку английского и китайского языков; README описывает синтез речи и диалогового аудио, но не генерацию музыки и фоновых звуков. Модель распространяется по лицензии MIT, однако разработчики рекомендуют использовать её для исследований и разработки и не рекомендуют применение в коммерческих или реальных сценариях без дополнительного тестирования. Возможны неточности и смещения; речь на других языках не поддерживается, перекрывающаяся речь явно не моделируется. README сообщает о встроенном слышимом предупреждении и незаметной водяной метке в сгенерированном аудио.

1.3K2авг. 2026ctx131.1K
textaudiomithugging-face
pnnbao-ump
VieNeu-TTS-0.3B

VieNeu-TTS-0.3B — модель преобразования текста в речь для вьетнамского языка, разработанная Phạm Nguyễn Ngọc Bảo. Модель предназначена для локального и встроенного использования, включая синтез речи, голосовые интерфейсы, чат-боты в реальном времени и чтение текста. Модель имеет размер 0,3 млрд параметров и оптимизирована для высокой скорости работы на устройствах. По заявлению автора, она обеспечивает примерно вдвое более быструю инференцию по сравнению с версией 0,5B при сохранении высокого качества речи. Поддерживается мгновенное клонирование голоса по 3–5 секундам референсной аудиозаписи, а также готовые предустановленные голоса. Доступны варианты в форматах PyTorch и GGUF с квантованием Q4 и Q8. Архитектура, максимальная длина контекста и точные требования к ресурсам в README не указаны. Сильными сторонами модели являются специализация на вьетнамской речи, возможность работы на устройстве, высокая скорость и zero-shot клонирование голоса. Ограничение — заявленная языковая поддержка охватывает только вьетнамский язык, а качество клонирования и синтеза может зависеть от референсной записи и используемой конфигурации. Модель распространяется по лицензии Apache-2.0.

1.8K23янв. 2026ctx4.1K
textapache-2.0hugging-face
danhtran2mind
Vi-F5-TTS

Vi-F5-TTS — модель синтеза речи из текста для вьетнамского языка, созданная на основе F5-TTS и дообученная на датасете vin100h-preprocessed-v2. Она предназначена для преобразования вьетнамского текста в речь; README содержит инструкции по загрузке чекпойнта и раздел с кодом инференса. Модель опубликована в формате PyTorch под лицензией MIT. Подробные сведения об архитектуре, размере модели, контексте и характеристиках сгенерированного голоса в доступных материалах не приведены.

2334июнь 2025
textaudiomithugging-face
LyngualLabs
VoxCPM2-Yoruba

VoxCPM2-Yoruba — экспериментальная модель синтеза речи от LyngualLabs, полученная полным дообучением openbmb/VoxCPM2. Она преобразует текст на йоруба и смешанный текст на йоруба и английском в речь; поддерживает клонирование голоса по короткому аудиофрагменту с расшифровкой и создание голоса по текстовому описанию. В основе лежит VoxCPM2 с 2 млрд параметров; обучение проведено на примерно 102 часах многоязычных и спонтанных записей с частотой 16 кГц. Модель предназначена для синтеза речи на йоруба, в том числе с переключением на английский. Это ранняя экспериментальная версия: возможны ошибки произношения и тонов, артефакты и ухудшение качества на длинных текстах и текстах с большим количеством чисел. При обучении на нескольких голосах для стабильного воспроизведения конкретного голоса рекомендуется передавать эталонную запись; дообучение также снизило способность базовой модели работать с другими языками. Лицензия — Apache-2.0.

222июнь 2026
textaudioapache-2.0hugging-face
speech31
wav2vec2-large-english-phoneme-v2

speech31/wav2vec2-large-english-phoneme-v2 — модель распознавания речи на базе архитектуры Wav2Vec2, разработанная путём дообучения facebook/wav2vec2-large. Она использует CTC-архитектуру и содержит 402,7 млн параметров. Модель предназначена для преобразования входящего аудио в текстовую последовательность; название указывает на английскую фонемную версию, но карточка не уточняет точный формат вывода и обучающие данные. В README приведены результаты оценки: loss 0,4069 и CER 0,0900. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. README не описывает условия применения и ограничения; указанные метрики относятся только к упомянутому набору оценки, который в карточке не назван.

7750сент. 2022
textaudioapache-2.0hugging-face
yuriyvnv
whisper-small-mixed-pt

yuriyvnv/whisper-small-mixed-pt — модель автоматического распознавания речи, созданная Yuriy VNV дообучением openai/whisper-small. Она принимает аудио и выдаёт текстовую транскрипцию на португальском языке. Модель содержит 153,1 млн параметров и построена на архитектуре Whisper; для обучения использовались португальские данные Common Voice 17.0 и синтетические аудиозаписи с фильтрацией WAVe. Модель предназначена для транскрибирования португальской речи и экспериментов с влиянием синтетических данных на качество распознавания. В README указаны WER 14,08% на тестовой части Common Voice и 30,54% на MLS; результат на Common Voice немного хуже CV-only базовой модели с WER 13,87%. Поэтому для рабочих систем, где важна точность, автор рекомендует рассмотреть другие варианты Whisper. Модель распространяется по лицензии Apache-2.0. Она оптимизирована для общего португальского языка; качество на других языках, акцентах и предметных областях из приведённых данных не следует.

220июль 2025ctx1K
textaudioapache-2.0hugging-face
hf-audio
xcodec-hubert-general

hf-audio/xcodec-hubert-general — модель семейства X-Codec для извлечения признаков из общего аудио. Карточка относит её к кодекам X-Codec и показывает применение на нескольких полосах пропускания от 0,5 до 4 кбит/с. Модель основана на дообученной ZhenYe234/hubert_base_general_audio и использует архитектуру XcodecModel; веса опубликованы в формате safetensors для Transformers. Модель предназначена для извлечения аудиопризнаков и кодирования аудио в сценариях, где важны разные уровни битрейта. В README приведены примеры аудиосэмплов на нескольких битрейтах, но подробности о входном формате, языках, длине контекста и качестве не сообщаются. Репозиторий распространяется по лицензии MIT.

11K0авг. 2025
textembeddingmithugging-face
aufklarer
Chatterbox-Flash-CoreML

Chatterbox Flash CoreML — скомпилированный экспорт модели ResembleAI/chatterbox-flash для сред Apple на базе Core ML. Экспорт подготовлен в виде статических графов .mlmodelc и предназначен для локального синтеза речи и клонирования голоса в приложениях для iOS, macOS и устройств Apple Silicon. Модель преобразует текст в речь с использованием T3 block-diffusion token generator и аудиокомпонента S3Gen. Она поддерживает zero-shot voice cloning и conditioning по эталонной речи, а также синтез на английском языке. Общий размер составляет около 798,4 млн параметров: 532,4 млн у T3 и 266 млн у S3Gen. Используется точность fp16; выходной сигнал — аудио с частотой 24 кГц. Графы имеют статические ограничения: длина текста до 256 токенов, максимальная последовательность T3 1024, длина токенов аудио 192 и длина mel-представления 384. Сильная сторона модели — адаптация Chatterbox Flash к локальному выполнению через Core ML и подтверждённое соответствие исходным PyTorch-графам в тестах, включая успешный smoke-тест синтеза. Однако это не готовый конвейер «ref.wav → cloned wav»: приложение должно самостоятельно реализовать токенизацию, нормализацию текста, циклы denoising и sampling, подготовку эталонных аудиопризнаков, оркестрацию графов, обработку padding и два шага meanflow. Для CPU_ONLY в локальном тестировании была отмечена ошибка выполнения T3; рекомендуется использовать режимы ALL, CPU_AND_NE или скомпилированный runtime на устройстве. Артефакт распространяется по лицензии MIT.

1960июль 2026
textaudiomithugging-face
elijahross
csm-german

elijahross/csm-german — модель генерации аудио из текста на архитектуре CSM, опубликованная под именем elijahross. Модель обучена с нуля на неизвестном наборе данных; в карточке не приведены дополнительные сведения о разработчике, обучении или назначении. Репозиторий содержит веса в формате Safetensors, модель рассчитана на использование через Transformers и насчитывает около 977 млн параметров; длина контекста — 2048 токенов. Модель предназначена для преобразования текстового ввода в аудио. По названию можно предположить связь с немецким языком, однако README не подтверждает, что именно немецкая речь или текст были целевыми данными. Качество синтеза, поддерживаемые голоса и языки, а также ограничения применения в карточке не описаны. Лицензия в предоставленных данных не указана.

2020авг. 2025ctx2K
textaudiohugging-face
hynt
F5-TTS-Vietnamese-ViVoice

F5-TTS-Vietnamese-ViVoice — компактная дообученная версия F5-TTS, созданная автором репозитория на основе F5-TTS_Base для синтеза вьетнамской речи. Модель обучена на 1000 часах аудиоданных из Vi-Voice и наборов VLSP 2021, 2022 и 2023; при подготовке данных отфильтровывали записи с плохими транскрипциями и аудио вне диапазона длительности от одной до 30 секунд. Модель предназначена для преобразования вьетнамского текста в речь. В примере использования F5-TTS принимает текст для озвучивания, а также референсное аудио и его транскрипцию; для инференса указаны F5-TTS и Vocos. Репозиторий опубликован в формате PyTorch и лицензирован CC-BY-NC-SA-4.0, допускающей только некоммерческое использование. Автор указывает, что модель предназначена для исследований и экспериментов, и запрещает использование для клонирования голоса без согласия, мошенничества и иных незаконных целей.

5.4K59июль 2025
textaudiocc-by-nc-sa-4.0hugging-face
hypaai
Hypa-Orpheus-3b-TTS-VC-ext

Hypa-Orpheus-3b-TTS-VC-ext — экспериментальная продолженная донастройка модели Hypa Intelligence для синтеза речи и клонирования голоса. Это плотная causal language model семейства Llama с 3,3 млрд параметров, обученная продолжением Hypa-Orpheus-3b-TTS-VC: адаптер LoRA повышенной ёмкости был дообучен и объединён с весами для инференса в bf16. Модель принимает текстовые промпты и генерирует последовательности SNAC-токенов, которые декодируются в речь; карточка указывает мультиязычную поддержку, включая английский, французский, испанский, португальский, арабский и ряд языков с ограниченными ресурсами. Контекст модели — 131072 токена. Продолжение обучения показало более низкую валидационную потерю, чем у основной версии, но это само по себе не доказывает более высокое воспринимаемое качество речи. Модель предназначена для экспериментов и развёртываний, которым важна эта версия с повышенной ёмкостью адаптера; основная Hypa-Orpheus-3b-TTS-VC остаётся рекомендуемой версией для стандартного производства. Ограничения включают короткий этап продолжения обучения, примерно четырёхкратный рост размера адаптера и отсутствие опубликованных оценок WER/CER, сходства голосов и MOS. Лицензия — Apache-2.0.

1220июль 2026ctx131.1K
textapache-2.0hugging-face
owensong
Inflect-Nano-v2

Inflect-Nano-v2 — компактная модель синтеза речи от автора репозитория owensong. Она преобразует английский текст в монофоническое аудио с частотой 24 кГц и рассчитана на локальный запуск, в том числе на CPU. Модель содержит 3 966 721 параметр, размер весов FP32 — 15,97 МБ; для вывода доступны детерминированный seed и обработка длинных текстов с разбиением по пунктуации. Модель использует фиксированный мужской голос и не поддерживает клонирование голоса с нуля. Автор сообщает о скорости CPU выше реального времени и приводит оценки естественности и разборчивости, однако эти автоматические метрики не заменяют контролируемую оценку людьми. На необычных формулировках речь может звучать менее выразительно или стабильно; числа, сокращения, омографы и редкие имена зависят от контекста и текстового фронтенда. Длинные фрагменты обрабатываются частями, поэтому переходы между ними могут отличаться от цельной генерации. Лицензия — Apache-2.0. В README также описан инструментарий адаптации голоса или языка, но качество адаптированных вариантов названо экспериментальным и зависящим от данных и оценки носителями языка.

271142июнь 2026
textaudioapache-2.0hugging-face
AbteeXAILab
lumynax-speech-whisper-large-v3-turbo

LumynaX Speech Whisper Large v3 Turbo — экспериментальная историческая сборка AbteeX AI Labs на базе Whisper Large v3 Turbo от OpenAI. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст; карточка указывает английский и маори как языки релиза. Она использует архитектуру Whisper и содержит 905,2 млн параметров. В этом выпуске Whisper подключён через маршрутизацию во время выполнения; веса исходной модели не изменялись. Для работы с моделью указана библиотека Transformers. Это ранний архивный эксперимент, который больше не поддерживается и не рекомендуется для производственного применения. README предупреждает, что выпуск не отражает нынешние возможности, архитектуру или стандарты безопасности AbteeX AI Labs. Указана лицензия MIT.

800май 2026
textaudiomithugging-face
mesolitica
malaysian-parler-tts-tiny-v1

Malaysian Parler TTS Tiny V1 — небольшая модель синтеза речи на основе архитектуры Parler TTS, дообученная Mesolitica на наборе данных mesolitica/TTS. Она предназначена для преобразования текста в речь на малайском языке. В метаданных Hugging Face указаны библиотека Transformers и веса в формате safetensors. Карточка не описывает голосовые характеристики, качество синтеза, контекстные ограничения или условия лицензии, поэтому эти свойства нельзя определить по доступным данным.

1190февр. 2025ctx512
texthugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей