/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
361–390 из 4 835
eugenehp
zipvoice-distill

eugenehp/zipvoice-distill — преобразованная для RLX версия ZipVoice-Distill на основе исходного чекпойнта. Репозиторий подготовлен как набор ONNX-графов и файл GGUF F16; для запуска предусмотрен пакет rlx-zipvoice. Модель предназначена для синтеза речи по тексту. В репозитории указаны компоненты декодера, текстового энкодера и вокодера. Лицензия — Apache-2.0.

140июль 2026
textaudioapache-2.0hugging-face
canopylabs
3b-de-pretrain-research_release

Orpheus 3B De Pretrained — базовая модель синтеза речи от Canopy Labs, построенная на архитектуре Llama и дообученная на основе meta-llama/Llama-3.2-3B-Instruct. Она предназначена для преобразования текста в естественную речь, а также для последующей адаптации под клонирование голоса без предварительного дообучения и классификацию. Разработчики отмечают естественную интонацию, эмоциональность и ритм речи; модель также служит основой для создания пользовательских дообучений. Карточка описывает немецкую версию, однако не приводит размер в README; базовая модель содержит 3,21 млрд параметров. Репозиторий использует Transformers и формат safetensors. Лицензия — Llama 3.2. Модель может использоваться для создания речи, однако клонирование голосов требует учитывать согласие людей; разработчики запрещают использовать её для имитации без согласия, дезинформации, обмана и незаконной или вредоносной деятельности.

714март 2025
textaudiollama3.2hugging-face
TheBOrganization
Arabic_TTS

Arabic_TTS — модель синтеза речи, разработанная theBOrganization на архитектуре VibeVoice. Она преобразует арабский текст в речь и поддерживает клонирование голоса без дополнительного обучения по короткому аудиофрагменту-образцу. Для задания голоса входной текст оформляется с идентификатором диктора, например «SPEAKER 1: أهلاً وسهلاً بكم في موقعنا». Модель рассчитана прежде всего на современный литературный арабский язык и поддерживает текст с диакритикой. Выходная речь генерируется с частотой 24 кГц; в README указаны 10 шагов инференса и управление генерацией через CFG и температуру. Репозиторий содержит веса safetensors, лицензия — Apache-2.0.

780июль 2026
textaudioapache-2.0hugging-face
js-byte
Audio8-TTS-Preview-0.6b-GGUF

Audio8-TTS-Preview-0.6b-GGUF — это GGUF-конверсия модели Audio8-TTS-Preview-0.6b, разработанной Audio8, для запуска через audio.cpp. Конверсия не включает дополнительное обучение или изменения архитектуры и предназначена для синтеза речи из текста, потоковой генерации и клонирования голоса по эталонной аудиозаписи с расшифровкой. Модель использует архитектуру DualAR: медленный модуль имеет 24 слоя размера 896 с 14 головами внимания и 2 KV-группами, быстрый модуль — 4 слоя размера 896. В составе — 10 кодбуков, аудиокодек с частотой 44,1 кГц и размером кадра 2048 сэмплов, контекст составляет 2048 токенов. Размер исходной модели — 0,6 млрд параметров; файл q8_0 содержит 681 тензор и занимает около 1,4 ГиБ. Поддерживаются кантонский и китайский языки, английский, нидерландский, французский, немецкий, итальянский, японский, корейский, польский и испанский, а также автоматический выбор языка. Сильные стороны модели — локальный запуск в формате GGUF, поддержка потокового синтеза и voice cloning, а также совместимость с OpenAI-совместимым серверным интерфейсом audio.cpp. Это preview-версия: стабильность снижается при использовании шумных, длинных или плохо соответствующих тексту эталонных записей. Для клонирования голоса необходимо получить согласие правообладателя и раскрывать факт использования синтетической речи. Модель и её конверсия распространяются по лицензии Apache-2.0; репозиторий является производной работой в формате GGUF и не заявляет аффилированность с Audio8.

32K3авг. 2026
textaudioapache-2.0hugging-face
CaptainArni
audio.cpp-gguf

CaptainArni/audio.cpp-gguf — набор GGUF-конвертаций моделей ACE-Step 1.5 XL для audio.cpp, нативного фреймворка вывода аудио на базе ggml. Основные исходные модели разработаны ACE-Step: ACE-Step/acestep-v15-xl-turbo и ACE-Step/acestep-v15-xl-sft; данный репозиторий распространяет их в формате, совместимом с audio.cpp. Модели предназначены для генерации музыки и речи по текстовому описанию, а также для создания вокальных партий по тексту и указанным lyrics. Варианты XL используют DiT-трансформер с 32 слоями размерности 2560 и 32 attention heads по 128; вместе с ним в каждом файле содержатся planner LM, text encoder и VAE. Доступны версии BF16 размером около 14,2 GiB и q8_0-квантизованные варианты DiT размером около 9,97 GiB, при этом planner LM, text encoder и VAE сохраняются в BF16. XL Turbo использует guidance distillation и игнорирует guidance_scale, а XL SFT поддерживает CFG-путь. Сильные стороны набора — автономность файлов без дополнительных загрузок, детерминированность при фиксированном seed и существенное уменьшение размера и времени генерации в вариантах q8dit при высокой близости к BF16. Ограничения включают зависимость от audio.cpp и соответствующего аппаратного backend; полностью квантизованные сборки могут заметно менять результат, а q8dit-варианты обозначены как предварительные и имеют ограниченную валидацию. Для вокала требуется указать язык, а для Turbo рекомендуется увеличить число inference steps. Веса распространяются по лицензии MIT; репозиторий предоставляет их в другом контейнерном формате.

133K0авг. 2026
textaudiomithugging-face
2Noise
ChatTTS

ChatTTS — модель синтеза речи, опубликованная командой 2Noise. Она преобразует текст в аудио и позволяет задавать параметры речи, включая голос диктора и скорость, а также добавлять смех. Репозиторий содержит веса в формате safetensors и использует библиотеку chat_tts. Модель подходит для озвучивания текста и создания разговорной речи с настраиваемой подачей. README обозначает материалы как предназначенные для академического и образовательного использования и исключает коммерческое или юридическое применение; метаданные указывают лицензию CC BY-NC 4.0.

2.6K1.7Kмай 2024
textaudiocc-by-nc-4.0hugging-face
nicolajreck
csm-1b-danish-tts

nicolajreck/csm-1b-danish-tts — адаптер LoRA, дообученный Nicolaj Reck на базе Sesame CSM-1B для синтеза датской речи из текста. Модель использует архитектуру CSM с примерно 977 млн параметров; обучаемая часть адаптера составляет около 16 млн параметров. Репозиторий содержит веса в формате safetensors, а для работы требуется базовая модель sesame/csm-1b. Модель предназначена для озвучивания датских текстов естественной речью и поддерживает выбор мужского или женского голоса с помощью токенов диктора. README также заявляет хорошее качество английской речи с датским акцентом; при этом модель оптимизирована для датского, поэтому качество на других языках может быть ниже. Вывод — аудио с частотой дискретизации 24 кГц; указанное в метаданных контекстное окно — 2048 токенов. Лицензия — Apache 2.0.

2755сент. 2025ctx2K
textaudioapache-2.0hugging-face
OPPOer
CuteTTS

OPPOer/CuteTTS — компактная модель синтеза речи, представленная в карточке как CuteTTS. Это авторегрессионная модель примерно на 230 млн параметров, которая генерирует речь, моделируя непрерывные латентные представления. Она предназначена для преобразования текста в речь и клонирования голоса по образцу без дополнительного обучения. Модель поддерживает английский, китайский, французский, немецкий и испанский языки. По данным карточки, она запускается на GPU, CPU и Apple silicon; заявлены задержка около 40 мс до первого аудиофрагмента и скорость примерно в девять раз выше реального времени на NVIDIA RTX 4090. Для использования доступны веб-демо, Python API и CLI. Результаты в README описывают качество синтеза и клонирования голоса на наборах LibriSpeech и Seed-TTS, но не содержат чисел для самой CuteTTS в видимой части таблицы, поэтому сравнительную оценку качества сделать нельзя. Лицензия репозитория — Apache-2.0.

23312авг. 2026
textaudioapache-2.0hugging-face
OPPOer
CuteTTS-distill

Карточка модели OPPOer/CuteTTS-distill на Hugging Face совпадает с карточкой OPPOer/CuteTTS, поэтому описание составлено по ней. OPPOer/CuteTTS — компактная модель синтеза речи, представленная в карточке как CuteTTS. Это авторегрессионная модель примерно на 230 млн параметров, которая генерирует речь, моделируя непрерывные латентные представления. Она предназначена для преобразования текста в речь и клонирования голоса по образцу без дополнительного обучения. Модель поддерживает английский, китайский, французский, немецкий и испанский языки. По данным карточки, она запускается на GPU, CPU и Apple silicon; заявлены задержка около 40 мс до первого аудиофрагмента и скорость примерно в девять раз выше реального времени на NVIDIA RTX 4090. Для использования доступны веб-демо, Python API и CLI. Результаты в README описывают качество синтеза и клонирования голоса на наборах LibriSpeech и Seed-TTS, но не содержат чисел для самой CuteTTS в видимой части таблицы, поэтому сравнительную оценку качества сделать нельзя. Лицензия репозитория — Apache-2.0.

683авг. 2026
textaudioapache-2.0hugging-face
mispeech
dasheng-base

Dasheng Base — универсальный аудиоэнкодер, разработанный для извлечения признаков из звуковых сигналов. Модель обучена методом самообучения на 272 356 часах разнообразного аудио и содержит 1,2 млрд параметров. Архитектура относится к семейству Dasheng; веса опубликованы в формате Safetensors. Модель предназначена для классификации и анализа речи, музыки и окружающих звуков. README сообщает о результатах на бенчмарке HEAR и задачах CREMA-D, LibriCount, Speech Commands и VoxLingua; для ESC-50 показан пример обучения линейной головы при замороженном энкодере. Лицензия — Apache-2.0.

8.3K11июнь 2024
audioapache-2.0hugging-face
bosonai
higgs-tts-3-4b

Higgs TTS 3 — модель преобразования текста в выразительную разговорную речь, разработанная Boson AI. Она предназначена для озвучивания ответов в голосовых чатах и создания речи с управлением эмоциями, стилем, просодией, паузами и звуковыми эффектами; поддерживает клонирование голоса по образцу в zero-shot режиме. Модель использует авторегрессионный декодер примерно на 4 млрд параметров с архитектурой Higgs на основе Qwen3. Текстовые и аудиотокены обрабатываются вперемежку; аудио кодируется восемью кодбуками с частотой 25 кадров в секунду. Длина контекста составляет 8192 токена. В README заявлена поддержка более 100 языков: качество выше для основной группы из 85 языков, тогда как для ещё 17 языков результаты менее отшлифованы. Модель подходит для озвучивания диалогов, подкастов, видео и публикаций в социальных сетях. Лицензия Boson Higgs TTS 3 Research and Non-Commercial License разрешает исследовательское и некоммерческое использование; для коммерческих продуктов, размещённых API и встраивания в сервис требуется отдельная лицензия. Создатели цифрового контента могут бесплатно монетизировать созданные материалы при указании авторства Boson AI's Higgs Audio. Лицензия запрещает клонирование голоса без согласия, имитацию личности, мошенничество, обман на выборах и биометрическое наблюдение.

116K805июнь 2026ctx131.1K
textaudiootherhugging-face
quangdung
higgs-tts-3-4b

Карточка модели quangdung/higgs-tts-3-4b на Hugging Face совпадает с карточкой LiShi30678/higgs-tts-3-4b, поэтому описание составлено по ней. Higgs TTS 3 — модель синтеза речи, представленная в репозитории LiShi30678 и разработанная Boson AI. Она преобразует текст в выразительную разговорную речь, поддерживает клонирование голоса по образцу и управление эмоциями, стилем, просодией, паузами и звуковыми эффектами с помощью встроенных тегов. Модель построена на авторегрессионном декодере примерно на 4 млрд параметров с архитектурой Higgs Multimodal Qwen3; аудио представляется восемью кодовыми книгами, частота кодирования — 25 кадров в секунду. Длина контекста составляет 8 192 токена. В README заявлена поддержка более 100 языков: для 85 указано качество WER/CER ниже 5, для ещё 17 — от 5 до 10. Русский входит в первую группу. Основной сценарий — генерация естественной речи для диалогов и озвучивания контента. Лицензия Boson Higgs TTS 3 Research and Non-Commercial License разрешает исследовательское и некоммерческое использование. Для производственного применения, размещённых API, интеграции в продукт или перепродажи нужна отдельная коммерческая лицензия. Создателям цифрового контента разрешено монетизировать созданные материалы по Creator Use Grant при указании авторства Boson AI's Higgs Audio. Лицензия запрещает клонирование голоса без согласия, имитацию личности, мошенничество, обман избирателей и биометрическое наблюдение.

290июль 2026ctx131.1K
textaudiootherhugging-face
HKUSTAudio
Llasa-1B-multi-speakers-genshin-zh-en-ja-ko

HKUST Audio Llasa-1B-multi-speakers-genshin-zh-en-ja-ko — дообученная на базе HKUSTAudio/Llasa-1B-Multilingual модель семейства Llama для синтеза речи из текста. Название указывает на настройку для нескольких голосов и контента, связанного с Genshin; в доступном README подробности этой настройки не раскрыты. Модель имеет плотную архитектуру Llama с 1,4 млрд параметров, использует формат safetensors и заявлена для задачи text-to-speech. Метаданные указывают китайский и английский языки; японский и корейский присутствуют в названии репозитория, но их поддержка карточкой отдельно не подтверждена. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

206февр. 2025ctx131.1K
textcc-by-nc-4.0hugging-face
jingyaogong
mimi

jingyaogong/mimi — конвертированная в FP16 версия аудиокодека Mimi, первоначально выпущенного Kyutai. Модель содержит 33,6 млн параметров и предназначена для кодирования и декодирования аудио; в каталоге Hugging Face её задача обозначена как извлечение признаков. В репозитории используются веса safetensors. FP16-представление уменьшает требования к памяти для локального использования. Модель относится к семейству Mimi и имеет контекст 8000 токенов по метаданным. Репозиторий сохраняет авторство исходной модели Kyutai. Лицензия — CC-BY-4.0; при использовании и распространении требуется сохранять атрибуцию Kyutai и уведомление о лицензии.

2711май 2026ctx8K
textembeddingcc-by-4.0hugging-face
nguyenthilaitrieulong
MiniMax-Music3

Карточка модели nguyenthilaitrieulong/MiniMax-Music3 на Hugging Face совпадает с карточкой MiniMaxAI/MiniMax-Music3, поэтому описание составлено по ней. MiniMax Music 3 — модель генерации песен от MiniMaxAI. Она принимает текст песни и описание музыки, чтобы создавать цельные композиции продолжительностью до пяти минут с вокалом, развивающейся аранжировкой и структурой из куплетов, припевов, переходов и других секций. Текстовые метки секций и подробное описание стиля позволяют задавать жанр, темп, тональность, вокальную подачу, инструменты и развитие звучания. Архитектура сочетает 8B Global LLM для долгосрочной структуры, 0.6B Local LLM для акустических деталей и модуль синтеза на основе Flow Matching и Flow-VAE. Global LLM инициализирована из Qwen3-8B. Модель выдаёт стереозвук WAV с частотой 32 кГц и разрядностью 16 бит. Модель подходит для создания песенных демо, музыкальных эскизов и композиций по заданным словам и стилю. Описание и секционные метки дают генеративный контроль, но не гарантируют точного соблюдения текста, темпа, тональности, инструментов или структуры. Генерация требует CUDA, поддерживается только в не потоковом режиме; длина текстового запроса ограничена 5 000 токенами, а генерация — 9 000 акустическими кадрами. Лицензия в предоставленных данных не указана.

60авг. 2026
textaudiohugging-face
TechnoBaptist
MiniMax-Music3

MiniMax Music 3 — модель генерации песен от MiniMax. Она принимает текст песни и музыкальное описание, задающее жанр, темп, тональность, настроение, вокал, инструменты и развитие аранжировки, и создаёт стереозапись WAV с частотой 32 кГц и разрядностью 16 бит. Модель способна генерировать композиции длительностью до пяти минут с куплетами, припевом, бриджем и другими секциями. Архитектура сочетает Global LLM на 8 млрд параметров для долгосрочной музыкальной структуры, Local LLM на 0,6 млрд параметров для акустических деталей и синтез на основе Flow Matching и Flow-VAE. Global LLM инициализирована из Qwen3-8B; Flow-VAE адаптирован на основе MiniMax Speech. Для управления можно размечать текст песни тегами секций и подробно описывать звучание, однако эти указания не гарантируют точного соответствия результата заданным тексту, темпу, тональности, инструментам или структуре. Для работы требуется CUDA; доступна только генерация без потоковой передачи. Текстовый запрос ограничен 5000 токенами, генерация — 9000 акустическими кадрами. Модель рассчитана на создание песен с вокалом и музыкальным сопровождением. Условия лицензии в предоставленных материалах не описаны.

81авг. 2026
textaudiohugging-face
Abiray
MiniMax-Music3-GGUF

Abiray/MiniMax-Music3-GGUF — это набор GGUF-квантизаций диффузионного трансформера (DiT) модели MiniMax-Music3, разработанной MiniMaxAI. Репозиторий адаптирует веса для локального запуска в ComfyUI с использованием расширения ComfyUI-GGUF и сниженным потреблением видеопамяти. Модель предназначена для генерации структурированных полноформатных музыкальных композиций по текстовому описанию и текстам песен, продолжительностью до 5 минут, в стереоформате с частотой 32 кГц. Доступны варианты от F16 размером 4,98 ГБ до Q3_K_M размером 1,16 ГБ. Q8_0 рекомендуется как вариант с качеством, близким к исходному, а Q4_K_M ориентирован на видеокарты с 8–10 ГБ VRAM. Более сильное квантование уменьшает требования к памяти, но может приводить к заметному ухудшению или смягчению звучания. Для работы требуются отдельные текстовый энкодер и VAE из репозитория Comfy-Org/MiniMax-Music-3; одних GGUF-файлов недостаточно. Наилучшие результаты достигаются при раздельной передаче текста песни с маркерами секций и описания музыки, включающего жанр, темп, тональность, вокал и аранжировку. Модель ориентирована на сценарии локальной генерации музыки через ComfyUI, включая создание песен с вокалом и заданной структурой. Условия использования наследуются от оригинальной модели и указаны как Apache-2.0.

4.4K35авг. 2026
textaudioapache-2.0hugging-face
audio-cpp
MiniMax-Music3-GGUF

MiniMax Music 3 GGUF — пакет модели MiniMax Music 3, разработанный для audio.cpp и распространяемый в формате GGUF. Модель предназначена для генерации музыки и песен по текстовому описанию, включая задание текста песни через lyrics. Она поддерживает длительные генерации, в том числе композиции продолжительностью до пяти минут, однако такие запуски ориентированы прежде всего на завершённость и качество, а не на работу в реальном времени. Пакет включает несколько компонентов: language model, flow transformer, RVQ depth decoder, condition encoder и vocoder. Доступны варианты компонентов в форматах BF16, Q8_0 и Q4_0, что позволяет выбирать между качеством, скоростью и потреблением памяти. Конкретные архитектурные размеры, число параметров, список языков и поддерживаемые модальности в README не указаны. В конфигурации по умолчанию используются Q4_0 для language model и flow transformer и Q8_0 для RVQ depth decoder. На RTX 5090 с CUDA для 30-секундной генерации заявлены скорость 1,35x реального времени и пиковое потребление 9,8 GiB VRAM; вариант BF16 требует 19,4 GiB и работает медленнее реального времени. Сильные стороны модели — поддержка генерации песен с заданными текстом и описанием стиля, возможность выбора точности компонентов и наличие оптимизированной конфигурации для GPU. Ограничения включают активную оптимизацию потребления памяти, отсутствие гарантии realtime-производительности для длинных композиций и зависимость от audio.cpp с подходящим backend. Пакет распространяется по MiniMax Music 3 Community License; перед использованием, особенно в коммерческих проектах, необходимо проверить условия лицензии.

592K32авг. 2026
textaudiootherhugging-face
OpenMOSS-Team
MOSS-Audio-Tokenizer-v2

MOSS-Audio-Tokenizer-v2 — аудиотокенизатор команды OpenMOSS-Team, представленный в работе «MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models». Это унифицированная дискретная модель на архитектуре Cat (Causal Audio Tokenizer with Transformer), обученная с нуля. Общий размер энкодера и декодера составляет 2 млрд параметров; репозиторий содержит веса Safetensors и реализацию для Transformers с удалённым кодом. Модель кодирует и восстанавливает стереозвук с частотой дискретизации 48 кГц, сжимая его до 12,5 кадров в секунду. Стек из 32 уровней residual vector quantization поддерживает разные битрейты. Токены рассчитаны на сохранение качества реконструкции и семантических характеристик речи, звуковых эффектов и музыки; их можно использовать в последующих системах распознавания и синтеза речи. Предусмотрена потоковая обработка фрагментами. Модель обучена на 3 млн часов разнообразных аудиоданных с совместной оптимизацией компонентов кодека и семантического выравнивания. Карточка не заявляет конкретный список поддерживаемых языков. Для загрузки требуется Transformers и trust_remote_code=True; README рекомендует фиксировать проверенную ревизию. Лицензия — Apache-2.0.

22K24апр. 2026
textembeddingapache-2.0hugging-face
OpenMOSS-Team
MOSS-TTSD-v0.7

MOSS-TTSD-v0.7 — двуязычная модель синтеза разговорной речи от OpenMOSS-Team на архитектуре MossTTSDForCausalLM, дообученная на базе Qwen/Qwen3-1.7B-Base. Она преобразует сценарии диалога между двумя собеседниками в выразительную речь с естественной разговорной интонацией и переключением голосов. Поддерживает клонирование двух голосов без дополнительного обучения и генерацию длинных сессий длительностью до 1700 секунд. Модель рассчитана на синтез диалогов и производство подкастов на китайском и английском языках. В основе лежит языковая модель с 1,7 млрд параметров, использующая единый семантико-акустический нейрокодек; указанная длина контекста — 32 768 токенов. Репозиторий содержит веса safetensors. Лицензия Apache-2.0 допускает коммерческое использование.

16718окт. 2025ctx32.8K
textapache-2.0hugging-face
scrappylabs
narrator-tts

ScrappyLabs Narrator TTS — дообученная на 461 аудиопримере модель Qwen3-TTS 1.7B CustomVoice для синтеза речи с постоянным выразительным голосом рассказчика. Она принимает текст и инструкции по стилю речи, например «мягко и тепло» или «таинственным шёпотом», и генерирует аудио без эталонной записи голоса при каждом запросе. Идентичность голоса встроена в веса модели. Модель предназначена для озвучивания аудиокниг, историй, подкастов, игр и голосовых интерфейсов. Она построена на архитектуре Qwen3-TTS, работает через Transformers и наследует поддержку языков базовой модели, включая английский, китайский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский. Размер весов составляет 3,8 ГБ, речевого токенизатора — 682 МБ, общий объём — около 4,5 ГБ. Модель рассчитана на последовательную озвучку одним голосом и управление подачей с помощью инструкций; разработчик сообщает о её применении в производственном конвейере. Качество и естественность речи могут зависеть от языка, текста и заданного стиля. Лицензия Apache 2.0 разрешает коммерческое использование.

723февр. 2026ctx131.1K
textaudioapache-2.0hugging-face
Serveurperso
OmniVoice-GGUF

OmniVoice-GGUF — это набор весов в формате GGUF для C++17/GGML-порта OmniVoice, разработанного Xiaomi и командой k2-fsa; конверсию и инструменты запуска предоставляет ServeurpersoCom. Модель предназначена для многоязычного синтеза речи в режиме zero-shot, включая voice design и клонирование голоса по образцу. Она генерирует монофонический звук с частотой 24 кГц и поддерживает 646 языков; в карточке отдельно указаны английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, корейский, арабский и русский языки. Для работы требуются одновременно два файла: базовая модель omnivoice-base, использующая Qwen3 0.6B для преобразования текста в токены, и токенизатор omnivoice-tokenizer на базе HuBERT, DAC и RVQ для преобразования токенов в аудио и обратно. Доступны варианты F32, BF16, Q8_0 и Q4_K_M объёмом от примерно 659 МБ до 3,19 ГБ за комплект; Q8_0 рекомендуется как вариант по умолчанию, а Q4_K_M — для минимального использования VRAM. Модель может работать на CPU, CUDA, ROCm, Metal и Vulkan. Сильные стороны модели — широкий языковой охват, поддержка синтеза и клонирования голоса, а также запуск на различных аппаратных платформах и в локальном C++-окружении. Ограничения включают необходимость загружать два файла, зависимость качества и ресурсоёмкости от выбранной квантизации и некоммерческий характер лицензии весов. Веса распространяются по CC-BY-NC 4.0; исходный код OmniVoice имеет лицензию Apache 2.0, аудиокодек — Apache 2.0, а инструменты GGUF — MIT.

34K78апр. 2026
textaudiocc-by-nc-4.0hugging-face
ehzawad
orpheus-bangla-emotional-tts

Orpheus Bangla Emotional TTS — модель синтеза речи на бенгальском языке, созданная разработчиком ehzawad на основе архитектуры Orpheus и декодера SNAC. Она преобразует текст на бенгальском языке в естественно звучащую речь с частотой дискретизации 24 кГц и позволяет задавать эмоциональную манеру произнесения: например, радостную, грустную, сердитую, удивлённую или шёпот. Модель основана на плотной архитектуре LlamaForCausalLM и содержит 3,3 млрд параметров; для неё указан контекст размером до 131 072 токенов. Репозиторий создан 13 апреля 2025 года, веса размещены в формате safetensors. Лицензия — Apache-2.0.

3635апр. 2025ctx131.1K
textapache-2.0hugging-face
cstr
outetts-0.3-1b-GGUF

OuteTTS-0.3-1B GGUF — это квантованные версии модели синтеза речи OuteAI/OuteTTS-0.3-1B, подготовленные для использования с CrispASR. Модель предназначена для преобразования текста в речь и клонирования голоса по эталонной аудиозаписи с транскрипцией. Для работы требуется сопутствующий декодер WavTokenizer в формате GGUF. В основе разговорной модели используется OLMo-1B: 16 слоёв, скрытое представление размером 2048, 16 MHA-голов, архитектура SwiGLU, RoPE и parameter-free LayerNorm. Аудиокодек использует WavTokenizer с одним кодбуком VQ-GAN на 4096 элементов, размерностью 512 и частотой 75 токенов в секунду; декодирование выполняется на базе Vocos. На выходе формируется монофонический PCM-аудиосигнал с частотой 24 кГц. Доступны варианты F16, Q8_0, Q5_K и Q4_K; Q8_0 рекомендуется как оптимальный баланс качества и размера, а Q4_K может иногда смещать границы слов в коротких фразах и требует актуальной версии CrispASR. Модель удобна для локального запуска и голосового клонирования, однако README не указывает поддерживаемые языки и другие количественные показатели качества. Весы распространяются по лицензии CC-BY-NC-SA-4.0: требуется указание авторства OuteAI, коммерческое использование запрещено, а производные распространяемые материалы должны сохранять те же условия лицензии.

1.4K0май 2026
textaudiocc-by-nc-sa-4.0hugging-face
pevers
parkiet

Parkiet — открытая модель синтеза речи на нидерландском языке, разработанная Pevers на основе Dia от Nari Labs и дообученная для нидерландской речи. Она преобразует текст в реалистичное аудио, позволяет задавать эмоциональную окраску и тон, поддерживает клонирование голоса и диалоги до четырёх говорящих. Можно также генерировать смех; примеры и рекомендации по формату текста помогают управлять произношением и паузами. Модель использует архитектуру Dia и распространяется в формате safetensors. Для запуска доступны варианты на Hugging Face Transformers, JAX и PyTorch; заявленный объём видеопамяти составляет от 10 ГБ в bfloat16, хотя преобразование всех весов в этот тип может повысить нестабильность и число галлюцинаций. Модель чувствительна к неожиданным токенам и формулировкам, а смех рекомендуется использовать умеренно. Лицензия — OpenRAIL; автор также запрещает выдавать сгенерированную речь за речь реальных людей без разрешения и использовать её для обмана или вреда.

1.6K12сент. 2025
textaudioopenrailhugging-face
ajd12342
parler-tts-mini-v1-paraspeechcaps

Parler-TTS Mini v1 ft. ParaSpeechCaps — англоязычная модель синтеза речи, созданная дообучением Parler-TTS Mini v1 авторами проекта ParaSpeechCaps на данных Emilia и ParaSpeechCaps. Она преобразует текст в речь и позволяет задавать стиль звучания текстовым описанием: управлять высотой голоса, ритмом, чёткостью артикуляции и эмоцией, а также описывать особенности говорящего и ситуацию произнесения. Модель построена на архитектуре ParlerTTSForConditionalGeneration и распространяется в формате Safetensors для Transformers. Модель подходит для генерации озвучки с заданными голосовыми и выразительными характеристиками, например для получения речи с определённым темпом или манерой произношения. Карточка описывает поддержку английского языка. Модель выпущена под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов.

1405февр. 2025ctx512
textaudiocc-by-nc-sa-4.0hugging-face
cstr
pocket-tts-GGUF

cstr/pocket-tts-GGUF — это GGUF-квантизированная версия лёгкой модели синтеза речи Pocket TTS, разработанной Kyutai и преобразованной для использования с CrispASR. Модель предназначена для преобразования текста в речь и поддерживает zero-shot клонирование тембра по короткой аудиозаписи голоса. Доступны варианты для английского, немецкого, испанского, итальянского, португальского и французского языков. Модель содержит около 100 млн параметров и использует авторегрессионную архитектуру с непрерывными латентными векторами. Основу составляет FlowLM — каузальный Transformer с размерностью 1024, 16 головами внимания и 6 слоями, работающий на частоте 12,5 Гц; французская версия использует 24 слоя. Для декодирования применяются consistency head и Mimi VAE, формирующий PCM-аудио с частотой 24 кГц. Токенизатор SentencePiece BPE с размером словаря 4000, веса Mimi и необходимые компоненты включены в единый GGUF-файл. Сильными сторонами модели являются небольшой размер, наличие голосового клонирования, мультиязычность и возможность работы в формате GGUF через CrispASR. Английские варианты без voice-cloning-компонентов не поддерживают клонирование и используют только декодер; без голосовой кондиционирующей записи модель обычно генерирует почти тишину, хотя может автоматически применять встроенный эталонный голос. Для наилучшего результата рекомендуется чистая монофоническая запись одного диктора продолжительностью несколько секунд. Модель распространяется по лицензии CC-BY-4.0.

4.5K7июнь 2026
textaudiocc-by-4.0hugging-face
cstr
qwen3-tts-0.6b-base-GGUF

cstr/qwen3-tts-0.6b-base-GGUF — это GGUF-конверсия базовой мультиязычной модели синтеза речи Qwen3-TTS 12Hz 0.6B Base, разработанной командой Qwen. Репозиторий подготовлен для использования с C++/ggml-бэкендом qwen3-tts в проекте CrispASR; в него входят модели talker, code-predictor и speaker-encoder, но не входит отдельный токенизатор/аудиокодек, который требуется устанавливать дополнительно. Модель предназначена для синтеза речи и клонирования голоса по паре «референсная аудиозапись и её точная расшифровка», а также для работы с заранее подготовленными voice-pack в формате GGUF. Поддерживаются китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Архитектура использует дискретную multi-codebook языковую модель и отдельный кодек с частотой 12 Гц. Доступны варианты F16 размером около 1,7 ГБ, Q8_0 размером около 940 МБ и Q4_K размером около 508 МБ. Вариант Q8_0 рекомендуется как оптимальный баланс размера и качества и, согласно проверкам CrispASR, обеспечивает хорошее звучание при сквозном синтезе. F16 лучше подходит, когда важна максимальная точность. Q4_K экономит место, но заметно снижает сохранение содержания, особенно на коротких фразах, и не является полноценной заменой Q8_0. Для работы необходим совместимый tokenizer/codec GGUF; контекстное окно и другие характеристики, не указанные в карточке, неизвестны. Модель распространяется по лицензии Apache-2.0.

1.5K5апр. 2026
textaudioapache-2.0hugging-face
QAQAQ4
Qwen3-TTS-12Hz-0.6B-Base

Карточка модели QAQAQ4/Qwen3-TTS-12Hz-0.6B-Base на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-0.6B-Base, поэтому описание составлено по ней. Qwen3-TTS-12Hz-0.6B-Base — базовая модель синтеза речи из семейства Qwen3-TTS, разработанного командой Qwen. Это плотная модель с архитектурой Qwen3TTSForConditionalGeneration и дискретной многокодовой языковой архитектурой; она использует разработанный для семейства токенизатор речи Qwen3-TTS-Tokenizer-12Hz. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации речи по тексту и быстрого клонирования голоса по предоставленному аудио. Семейство поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. В карточке также заявлены потоковая генерация с низкой задержкой и управление характеристиками голоса естественными языковыми инструкциями. Для клонирования требуется аудиопример голоса; качество результата зависит от входного текста и аудио. Карточка описывает возможности семейства в целом, поэтому отдельные показатели и свойства именно версии 0.6B Base подтверждены не полностью.

70авг. 2026ctx131.1K
textaudioapache-2.0hugging-face
Qwen
Qwen3-TTS-12Hz-0.6B-CustomVoice

Qwen3-TTS-12Hz-0.6B-CustomVoice — многоязычная модель синтеза речи, разработанная командой Qwen. Это вариант CustomVoice с архитектурой Qwen3TTSForConditionalGeneration и токенизатором 12 Hz; модель поддерживает девять голосовых тембров и позволяет управлять интонацией, ритмом и эмоциональной окраской с помощью инструкций на естественном языке. Модель преобразует текст в речь на китайском, английском, японском, корейском, немецком, французском, русском, португальском, испанском и итальянском языках. Она рассчитана на потоковую генерацию с низкой задержкой; в README заявлена задержка синтеза от 97 мс. Для наилучшего звучания рекомендуется использовать голос на его родном языке. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит число параметров этого чекпойнта; обозначение 0.6B входит в его название.

1.0M204янв. 2026ctx131.1K
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей