/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
541–570 из 4 835
hoanglinhn0
OmniVoice-viK

Карточка модели hoanglinhn0/OmniVoice-viK на Hugging Face совпадает с карточкой kjanh/KhanhTTS-OmniVoice, поэтому описание составлено по ней. KhanhTTS — модель синтеза речи на базе OmniVoice, дообученная автором для озвучивания текста на вьетнамском и английском языках. Она поддерживает клонирование голоса по короткому образцу и рассчитана на более естественное произношение на обоих языках; для работы используется библиотека OmniVoice. Обучение проводилось примерно на 1500 часах вьетнамской и английской аудиозаписи. Модель подходит для озвучивания текстов и создания речи с голосовыми характеристиками предоставленного образца. В репозитории указаны веса Safetensors и лицензия Apache-2.0. Автор рекомендует предварительное тестирование и оценку рисков; клонирование чужого голоса без законного согласия и использование для обмана запрещены.

200июль 2026ctx131.1K
textaudioapache-2.0hugging-face
jetjodh
orpheus-3b-0.1-ft

Orpheus 3B 0.1 Finetuned — модель синтеза речи на основе архитектуры Llama, выпущенная CanopyAI. Это Speech-LLM на 3,3 млрд параметров, дообученная для генерации естественной речи с выразительной интонацией, эмоциями и ритмом. Модель поддерживает потоковую генерацию с заявленной задержкой около 200 мс, а при потоковой подаче текста — около 100 мс, а также клонирование голоса без предварительного дообучения и управление эмоциями и интонацией с помощью тегов. Модель предназначена для преобразования текста в речь в реальном времени, озвучивания диалогов и приложений, где важны естественное звучание и выразительная подача. В README заявлена поддержка английского языка. Репозиторий использует Transformers и форматы PyTorch/Safetensors; указанное окно контекста — 131072 токена. Лицензия — Apache-2.0. README предупреждает против клонирования голоса без согласия, обмана и незаконного или вредоносного применения.

5.4K0май 2026ctx131.1K
textapache-2.0hugging-face
cstr
orpheus-3b-0.1-ft-GGUF

Orpheus 3B 0.1 ft GGUF — конвертированная и квантованная версия модели Orpheus 3B, разработанной canopylabs/canopyai на базе Meta Llama 3.2 3B Instruct. Репозиторий cstr предназначен для использования с CrispASR и содержит варианты в форматах F16, Q8_0 и Q4_K. Модель относится к системам синтеза речи: она преобразует текст в специальные codec-токены, которые затем декодируются отдельной моделью SNAC 24 kHz в аудио. Модель рассчитана на англоязычный text-to-speech, включая потоковый синтез с низкой задержкой около 200 мс, естественную интонацию и эмоциональную выразительность, zero-shot voice cloning и управление эмоциями или интонацией с помощью тегов. Доступны восемь встроенных англоязычных голосов: tara, leah, jess, leo, dan, mia, zac и zoe. Архитектура talker-модели основана на Llama-3.2-3B-Instruct: 28 слоёв, скрытое состояние размером 3072, 24 attention heads и 8 KV heads. Выходной звук — моно PCM с частотой 24 кГц. Для работы необходим отдельный SNAC-кодек; сама модель не генерирует аудио без него. Для стабильного качества рекомендуется вариант Q8_0: согласно README, он даёт roundtrip на уровне слов, сопоставимый с F16. Более компактный Q4_K подходит для ограниченной памяти, но может нарушать структуру codec-токенов и приводить к непригодному аудио. Также требуется использовать sampling с температурой около 0,6; жадное декодирование нестабильно. Указанная лицензия — Apache-2.0 для Orpheus, при этом базовая Llama 3.2 распространяется по лицензии Llama 3.2 Community.

1.1K1июнь 2026
textaudioapache-2.0hugging-face
Sunbird
orpheus-3b-tts-multilingual

Orpheus-3B Sunbird Multilingual TTS — модель Sunbird AI для синтеза речи из текста. Это дообученная на полном корпусе Sunbird/tts модель unsloth/orpheus-3b-0.1-pretrained с архитектурой Llama и 3,3 млрд параметров. Она генерирует монофоническое аудио с частотой 24 кГц через аудиокодек SNAC; выбор голоса задаётся идентификатором говорящего в запросе, а отдельного переключателя языка нет. Модель охватывает 20 конфигураций языковых данных, включая английский и языки Африки с ограниченными ресурсами: ачоли, африкаанс, эве, фула, хауса, игбо, кикуйю, киньяруанда, лугбара, лингала, луганда, луо, рунянколе, сесото, суахили, атесо, сетсвана, коса и йоруба. Доступность отдельных голосов зависит от языка. Качество различается в зависимости от объёма обучающих данных, поэтому перед применением следует прослушать примеры для нужного языка и голоса. Контекст модели — 131 072 токена. Лицензия — Apache-2.0.

12K3май 2026ctx131.1K
textapache-2.0hugging-face
parler-tts
parler-tts-tiny-v1

Parler-TTS Tiny v1 — компактная модель синтеза речи проекта Parler-TTS, созданного в рамках работы Данa Лайта и Саймона Кинга из Stability AI и Эдинбургского университета. Модель преобразует текст в речь и обучалась на 45 тысячах часов аудио; архитектура ParlerTTSForConditionalGeneration использует семейство Parler-TTS и библиотеку Transformers. Параметры звучания задаются текстовым описанием: можно управлять голосом и его характеристиками, включая пол, темп, высоту тона, реверберацию и уровень фонового шума. Для сохранения голоса между генерациями модель обучена на 34 описанных дикторах. В карточке указана поддержка английского языка; модель подходит для озвучивания текста с управляемой подачей. Модель распространяется под лицензией Apache-2.0. Это облегчённая версия семейства, поэтому её следует выбирать с учётом компромисса между компактностью и качеством звучания; доступные материалы не приводят отдельной оценки качества Tiny v1.

1743сент. 2024ctx512
textaudioapache-2.0hugging-face
theoracleguy
Qwen3-TTS-12Hz-0.6B-Base-bf16

Qwen3-TTS-12Hz-0.6B-Base-bf16 — модель синтеза речи, конвертированная пользователем theoracleguy из исходной Qwen/Qwen3-TTS-12Hz-0.6B-Base в формат MLX с помощью библиотеки mlx-audio версии 0.3.0. Модель имеет размер 0,6 млрд параметров согласно идентификатору и предназначена для локального запуска в экосистеме MLX. Модель преобразует текст в речь и поддерживает сценарии генерации голоса, включая клонирование голоса с использованием референсного аудиофайла. Она может применяться через mlx-audio, а также совместимые локальные приложения, например OpenVox, и интегрироваться с их API и MCP-интерфейсами. В метаданных указан pipeline-тег text-to-speech и библиотека mlx-audio. Модель распространяется по лицензии Apache-2.0. Для клонирования голоса требуется референсная аудиозапись, а фактические возможности и качество зависят от исходной модели Qwen3-TTS, выбранного рабочего процесса и совместимости окружения MLX. Поддерживаемые языки и длина контекста в доступных материалах не указаны.

2612март 2026ctx131.1K
textaudioapache-2.0hugging-face
jack1-12
Qwen3-TTS-12Hz-1.7B-CustomVoice

Карточка модели jack1-12/Qwen3-TTS-12Hz-1.7B-CustomVoice на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-1.7B-Base, поэтому описание составлено по ней. Qwen3-TTS-12Hz-1.7B-Base — базовая плотная модель семейства Qwen3-TTS, разработанная командой Qwen. Она предназначена для синтеза речи по тексту и быстрого клонирования голоса по аудиопримеру длительностью около трёх секунд; также её можно использовать как основу для дообучения других моделей. Модель поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Архитектура использует дискретную языковую модель с несколькими кодовыми книгами и токенизатор речи Qwen3-TTS-Tokenizer-12Hz. Заявлена потоковая и непотоковая генерация с низкой задержкой, а модель рассчитана на локальный запуск через пакет qwen-tts или vLLM-Omni. В README заявлена поддержка управления голосовыми характеристиками инструкциями для семейства Qwen3-TTS, но для варианта Base такая поддержка отдельно не отмечена. Модель принимает текст и аудио для клонирования голоса и выдаёт синтезированную речь. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Для запуска могут потребоваться значительные вычислительные ресурсы; README рекомендует FlashAttention 2 на совместимом оборудовании.

110сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
mlx-community
Qwen3-TTS-12Hz-1.7B-CustomVoice-4bit

mlx-community/Qwen3-TTS-12Hz-1.7B-CustomVoice-4bit — это 4-битная версия модели синтеза речи Qwen3-TTS-12Hz-1.7B-CustomVoice, преобразованная сообществом mlx-community в формат MLX из оригинальной модели Qwen/Qwen3-TTS-12Hz-1.7B-CustomVoice с помощью mlx-audio версии 0.3.0. Модель предназначена для преобразования текста в аудио и сценариев генерации речи с пользовательским голосом, включая использование эталонной аудиозаписи. Запуск предусмотрен через библиотеку mlx-audio, в том числе из командной строки или Python-кода. В README указано, что модель имеет размер 1,7 млрд параметров, работает в 4-битном представлении и использует частоту дискретизации 12 Hz в обозначении модели. Поддерживаемые языки, точные характеристики архитектуры, максимальная длина контекста и перечень модальностей в предоставленных данных не указаны. К сильным сторонам относятся компактное 4-битное представление и интеграция с MLX, что может быть удобно для локального запуска в соответствующей экосистеме. Ограничения и подробные показатели качества в README не описаны; для них требуется обратиться к карточке исходной модели. Модель распространяется по лицензии Apache-2.0.

2.8K2янв. 2026ctx131.1K
textaudioapache-2.0hugging-face
cstr
qwen3-tts-1.7b-voicedesign-GGUF

cstr/qwen3-tts-1.7b-voicedesign-GGUF — GGUF-конверсия модели Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign, разработанной Qwen и адаптированной для работы с C++/ggml-бэкендом CrispASR. Это instruct-настроенная модель синтеза речи, которая создаёт голос по текстовому описанию естественным языком, без эталонной аудиозаписи и без выбора из фиксированного набора дикторов. Модель предназначена для преобразования текста в речь с управлением характеристиками голоса через инструкцию: полом, возрастом, акцентом, тембром, эмоциональностью и темпом. Поддерживаются китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Архитектура включает talker/code-predictor размером 1,7 млрд параметров; в данном репозитории представлен только talker, поэтому для работы требуется отдельный tokenizer/codec GGUF. Модель не содержит ветви speaker encoder и использует текстовую инструкцию, встроенную в prefill talker. Доступны варианты F16 размером около 3,6 ГБ и Q8_0 размером около 1,9 ГБ; Q8_0 рекомендован для развёртывания. Более низкоразрядные варианты указаны как экспериментальные и могут быть менее близки к F16. Ограничением является обязательное наличие совместимого tokenizer/codec и использование рантайма CrispASR; инструкция --instruct обязательна. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

2.8K5май 2026
textaudioapache-2.0hugging-face
KRAFTON
Raon-OpenTTS-1B

Raon-OpenTTS-1B — англоязычная модель синтеза речи с нуля и клонирования голоса по аудиообразцу, разработанная KRAFTON. Это вариант системы Raon-OpenTTS с примерно 1,048 млрд параметров; её архитектура — Diffusion Transformer на основе F5-TTS с flow matching. Модель принимает текст и аудиообразец голоса, а на выходе создаёт речь, стараясь передать характеристики образца. В карточке показаны примеры для разных акцентов, стилей речи, эмоций и условий записи. Модель обучена на открытом наборе из 615 тысяч часов английской речи, собранном из 11 датасетов. Авторы сообщают о конкурентных результатах на оценках zero-shot TTS, включая шумные и выразительные условия. Весовые файлы доступны в формате PyTorch; для запуска авторы отсылают к репозиторию krafton-ai/Raon-OpenTTS. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель предназначена для генерации английской речи с заданным голосом по тексту и аудиообразцу. Показатели качества приведены авторами технического отчёта; они зависят от данных и условий оценки, поэтому не гарантируют аналогичного результата для каждого голоса или текста.

5981май 2026
textaudiocc-by-nc-4.0hugging-face
Sandiago21
speecht5_finetuned_facebook_voxpopuli_french

Модель Sandiago21/speecht5_finetuned_facebook_voxpopuli_french — дообученная на датасете VoxPopuli версия SpeechT5 от Microsoft для синтеза речи из текста. Она использует архитектуру SpeechT5ForTextToSpeech и распространяется в форматах PyTorch и Safetensors. Карточка приводит значение функции потерь 0,4379 на оценочной выборке, но не описывает методику оценки или качество звучания. Модель предназначена для преобразования текста в речь на французском языке. Она выпущена под лицензией MIT. В README не приведены сведения о голосе, поддержке других языков и практических ограничениях синтеза.

1462июль 2023ctx600
textaudiomithugging-face
Pout
speecht5_finetuned_flemish

Pout/speecht5_finetuned_flemish — дообученная версия SpeechT5 от Microsoft для синтеза речи из текста. Модель использует архитектуру SpeechT5ForTextToSpeech; файлы опубликованы в формате safetensors. В метаданных указан тег text-to-audio, лицензия MIT и базовая модель microsoft/speecht5_tts. Модель предназначена для преобразования текста в аудио. Название указывает на фламандский вариант, однако README не уточняет язык обучающих данных, характеристики голоса и условия оценки. Для базовой модели указано обучение на LibriTTS; датасет этой дообученной версии не раскрыт. В README приведено значение loss 0,3891 на оценочном наборе, без описания методики и возможности сравнения с другими моделями.

1580сент. 2026ctx600
textaudiomithugging-face
ruisp
speecht5_finetuned_voxpopuli_it

ruisp/speecht5_finetuned_voxpopuli_it — модель синтеза речи из текста, созданная дообучением microsoft/speecht5_tts на наборе данных facebook/voxpopuli. Она использует архитектуру SpeechT5 и модель speechbrain/spkrec-xvect-voxceleb для получения вектора голоса диктора. Модель предназначена для преобразования текста в итальянскую речь; в README приведено значение loss 0,5126 на оценочной выборке. Модель распространяется в форматах PyTorch и Safetensors по лицензии MIT. В карточке не приведены сведения о естественности речи, поддержке нескольких голосов или практических ограничениях синтеза.

1030авг. 2023ctx600
textaudiomithugging-face
mahimairaja
speecht5_finetuned_voxpopuli_lithuanian

mahimairaja/speecht5_finetuned_voxpopuli_lithuanian — модель синтеза речи из текста на базе SpeechT5 от Microsoft, дообученная автором репозитория на датасете facebook/voxpopuli. Она предназначена для преобразования литовского текста в речь; архитектура использует SpeechT5ForTextToSpeech, веса доступны в формате PyTorch. Модель подходит для озвучивания текстов и создания речевого вывода в приложениях. Лицензия — MIT. Карточка не приводит результатов оценки качества и подробностей о голосах или настройках генерации. Как и другие модели синтеза речи, качество произношения может зависеть от текста и условий обучения.

371авг. 2023ctx600
textaudiomithugging-face
vineetsharma
speecht5_tts-finetuned-voxpopuli-sk-v1

Модель vineetsharma/speecht5_tts-finetuned-voxpopuli-sk-v1 — дообученная версия SpeechT5 от Microsoft для синтеза речи по тексту. Она обучена на датасете facebook/voxpopuli и предназначена для преобразования текста в речь; в карточке приведено значение loss 0,4741 на оценочной выборке. Модель построена на архитектуре SpeechT5ForTextToSpeech и опубликована в форматах PyTorch и Safetensors. Лицензия — MIT.

1090июль 2023ctx600
textaudiomithugging-face
loom-ai-org
speecht5-tts-loom

SpeechT5 TTS от Microsoft — англоязычная модель синтеза речи из текста, упакованная проектом loom-ai-org в формат GGUF для запуска через loom.cpp и loom-py-rt. Экспорт содержит неизменённые веса microsoft/speecht5_tts и вокодер HiFi-GAN; модель кодирует текст и авторегрессионно предсказывает мел-спектрограмму, из которой формируется аудио с частотой 16 кГц. В комплект входит встроенный голос slt, также можно выбрать один из семи голосов CMU ARCTIC или передать совместимый x-vector. Модель подходит для озвучивания английского текста с выбором голоса и воспроизводимым результатом при фиксированном seed. Она обучена на LibriTTS и поддерживает только английский язык. Числа нормализуются в текст перед синтезом; для этой функции требуется loom 1.0.0-rc12 или новее. Лицензия модели — MIT; голоса CMU ARCTIC имеют отдельные условия использования, указанные в метаданных каждого файла голоса.

2350сент. 2026
textaudiomithugging-face
onnx-community
Supertonic-TTS-2-ONNX

Supertonic-TTS-2-ONNX — модель синтеза речи из текста, опубликованная сообществом onnx-community на основе Supertone/supertonic-2. Она предназначена для преобразования текстовых фрагментов в аудио и может использоваться через Transformers.js или напрямую с ONNXRuntime, в том числе в JavaScript- и Python-приложениях. Модель поддерживает английский, корейский, испанский, португальский и французский языки. Входной текст передаётся с языковыми тегами, а для выбора тембра используются заранее подготовленные speaker embeddings, включая голоса M1 и F1. Архитектура представлена ONNX-компонентами для кодирования текста, итеративного шумоподавления латентных представлений и декодирования голоса; заявленная частота дискретизации — 44,1 кГц, размерность латентного пространства — 24, размерность стиля — 128. Параметры позволяют управлять скоростью речи и числом шагов инференса: большее число шагов обычно повышает качество, но может увеличить вычислительные затраты. Сильными сторонами являются мультиязычность, работа в формате ONNX и возможность запуска в Transformers.js, что подходит для браузерных и локальных приложений. README не содержит данных о размере модели, требованиях к оборудованию, точности, задержке, качестве голосов, поддержке произвольного клонирования голоса или ограничениях длины контекста. Модель распространяется по лицензии OpenRAIL.

2.8K8янв. 2026ctx1K
textaudioopenrailhugging-face
ryota-komatsu
SylReg-Decoder

SylReg-Decoder — англоязычная модель синтеза речи, представленная в статье Speaker-Disentangled Chunk-Wise Regression for Syllabic Tokenization. Это дообученный вариант SylReg-Decoder Base, построенный на диффузионном трансформере с flow matching и вокодером BigVGAN-v2. Модель принимает текст и генерирует речь; в метаданных Hugging Face для неё указана задача text-to-speech и библиотека Transformers. Модель предназначена для преобразования английского текста в речь. В README указаны обучающие наборы LibriTTS-R и Hi-Fi-CAPTAIN. Для использования весов требуется соблюдать лицензию CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует распространять производные материалы на тех же условиях.

230февр. 2026
textaudiocc-by-nc-sa-4.0hugging-face
Gatozu35
tortoise-tts

Tortoise — модель преобразования текста в речь, разработанная James Betker. Она предназначена для синтеза речи с несколькими голосами и реалистичными просодией и интонацией. В метаданных указана архитектура GPT-2, форматы PyTorch и Safetensors, а также контекст 1012 токенов; модель рассчитана на английский язык. Модель подходит для озвучивания текста разными голосами и создания речи с выразительной интонацией. Репозиторий распространяется по лицензии Apache-2.0. В карточке не приведены сведения о размере модели, обучающих данных и результатах оценки.

11415февр. 2023ctx1K
textaudioapache-2.0hugging-face
utrobinmv
tts_ru_free_hf_vits_low_multispeaker

Русская многоголосая модель синтеза речи UtrobinTTS на архитектуре VITS, опубликованная пользователем utrobinmv. Она преобразует обычный текст с пунктуацией в речь и не требует предварительно переводить текст в фонемы. Доступны два голоса: женский (идентификатор 0) и мужской (идентификатор 1); текст следует подавать в нижнем регистре. Модель предназначена для синтеза русской речи. Для улучшения произношения автор рекомендует расставлять ударения перед гласными, например с помощью ruaccent. В метаданных указаны 888,9 тыс. параметров и форматы ONNX и safetensors; README приводит другой размер — 15,1 млн параметров. Лицензия — Apache-2.0.

40028апр. 2024ctx2K
textaudioapache-2.0hugging-face
phuocnguyen90
VieNeu-TTS-v3-Turbo-GGUF

VieNeu-TTS v3 Turbo GGUF — GGUF-версия модели синтеза речи VieNeu-TTS-v3-Turbo, разработанной pnnbao-ump и упакованной для работы с audio.cpp. Модель содержит сжатую talker-основу Qwen3 и веса токенизатора и декодера речи; размер исходной архитектуры составляет 103,8 млн параметров, контекст — до 1024 токенов. Репозиторий описывает один GGUF-файл размером 163 МБ и генерацию аудио с частотой 48 кГц. Модель преобразует текст в речь и предназначена для локального запуска, в том числе на CPU через C++ без PyTorch. В README приведены замеры, показывающие быстрое время загрузки и генерации в audio.cpp на тестовой конфигурации с четырьмя потоками. В метаданных указаны вьетнамский и английский языки. Лицензия в предоставленных данных не указана.

30K1июль 2026ctx1K
textaudiohugging-face
ASLP-lab
VoiceSculptor-VD

VoiceSculptor-VD — модель синтеза речи из текста, опубликованная ASLP-lab и дообученная на базе HKUSTAudio/Llasa-3B. Репозиторий VoiceSculptor описывает систему проектирования голоса по текстовым инструкциям и предоставляет код для инференса; этот чекпойнт относится к выпущенным моделям VoiceSculptor для voice design. Архитектура — плотная LlamaForCausalLM, размер — 3,4 млрд параметров, формат весов — safetensors, заявленная длина контекста — 131 072 токена. Модель предназначена для синтеза речи с заданными характеристиками голоса и выполнения инструкций по его дизайну. Базовая Llasa-3B ориентирована на китайскую и английскую речь; карточка VoiceSculptor-VD не уточняет поддерживаемые языки именно этого чекпойнта и не приводит измерений качества или детального описания процедуры управления голосом. Лицензия — Apache-2.0.

6218янв. 2026ctx131.1K
textapache-2.0hugging-face
masapasa
xls-r-300m-it-cv8

Модель masapasa/xls-r-300m-it-cv8 — версия wav2vec 2.0 XLS-R, дообученная на базе facebook/wav2vec2-xls-r-300m для автоматического распознавания итальянской речи. Она принимает аудио и выдаёт распознанный текст; модель содержит около 402,8 млн параметров и опубликована в формате PyTorch. Дообучение выполнено на итальянской части набора MOZILLA-FOUNDATION/COMMON_VOICE_8_0 (SV-SE); на оценочной выборке указаны loss 1,0278 и WER 1,0286. Модель подходит для транскрибации италоязычной речи и интеграции в системы распознавания аудио. Репозиторий распространяется по лицензии Apache-2.0. Применимость показателей качества за пределами указанной оценочной выборки не подтверждена.

121март 2022
textaudiohugging-face
canopylabs
3b-de-ft-research_release

Canopy Labs Orpheus 3B De Finetuned — Llama-основанная речевая языковая модель для синтеза речи по тексту. Эта версия выпущена 9 апреля 2025 года и объединяет Orpheus 3B с Meta Llama 3.2 3B Instruct; в репозитории указаны веса Safetensors, а лицензия — Apache-2.0. Модель предназначена для естественного и выразительного синтеза речи, включая управление интонацией и эмоциями с помощью тегов, клонирование голоса без предварительного дообучения и потоковую генерацию с малой задержкой. В карточке заявлена задержка около 200 мс, снижаемая примерно до 100 мс при потоковой подаче текста. Карточка указывает немецкий язык.

107K19апр. 2025
textaudioapache-2.0hugging-face
canopylabs
3b-es_it-ft-research_release

canopylabs/3b-es_it-ft-research_release — дообученная CanopyAI модель Orpheus TTS на базе Llama, предназначенная для синтеза речи из текста на испанском и итальянском языках. Репозиторий использует Transformers и содержит веса в формате safetensors; лицензия — Apache-2.0. Модель рассчитана на генерацию естественной речи с выразительной интонацией, эмоциями и ритмом, клонирование голоса без предварительного дообучения и управление характеристиками речи с помощью тегов. В README заявлена потоковая генерация с задержкой около 200 мс, которую можно сократить примерно до 100 мс при потоковой подаче текста. Это исследовательский релиз дообучений семейства Orpheus 3B для испанского и итальянского языков. Качество, задержки и возможности клонирования указаны разработчиком; результат может зависеть от реализации и настроек инференса. Разработчик запрещает использовать модель для имитации голоса без согласия, обмана, мошенничества и незаконной или вредоносной деятельности.

66522апр. 2025
textaudioapache-2.0hugging-face
Edge0
Audio8-TTS-Preview-0.1b

Audio8 TTS Preview 0.1B — компактная модель синтеза речи с поддержкой клонирования голоса по короткому образцу; репозиторий подготовлен разработчиками Audio8. Метаданные указывают 79,7 млн параметров, тогда как README приводит приблизительную оценку около 170 млн для основной генеративной модели и около 120 млн для отдельного декодера аудиокодека. Репозиторий включает чекпойнт, кодек, токенизатор и процессор. Архитектура Audio8 Falcon H1 использует медленную и быструю авторегрессионные ветви: первая предсказывает семантические токены, вторая — кодовые последовательности аудиокодека. Модель рассчитана прежде всего на китайский и английский языки; немецкий, испанский, французский, итальянский, японский и корейский заявлены как экспериментальные направления. Контекст — 8192 токена. Основной сценарий — zero-shot клонирование голоса по аудиозаписи и соответствующей ей расшифровке; синтез возможен и без образца голоса. Компактный размер предназначен для снижения требований к ресурсам по сравнению с более крупными многоязычными системами. Качество и стабильность для дополнительных языков переменны; длинные, шумные или неверно расшифрованные образцы могут ухудшить результат. README рекомендует получать согласие перед клонированием голоса и раскрывать факт синтетической генерации. В метаданных указана лицензия other, а конкретные условия использования в предоставленных сведениях не описаны. Для загрузки требуется Transformers с разрешением пользовательского кода; README рекомендует Python 3.11 или новее и CUDA-совместимый GPU.

1.6K235авг. 2026ctx8.2K
textotherhugging-face
2121-8
canary-tts-0.5b

Canary-TTS-0.5B — модель синтеза речи, дообученная на базе sbintuitions/sarashina2.2-0.5b-instruct-v0.1. Она использует архитектуру Llama и аудиодекодер HKUSTAudio/xcodec2; заявленный размер — 661,9 млн параметров, контекст — 8192 токена. Модель преобразует текст в речь и позволяет управлять характеристиками голоса с помощью промптов: задавать высоту тона, пол голоса и уровень шума, а также менять текст для озвучивания. Подходит для генерации речи на японском языке; README описывает случайную генерацию голоса и указание говорящего. В основе реализации используются подходы Parler-TTS и XCodec2. Модель опубликована под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. Лицензии базовой модели и аудиодекодера также следует учитывать при использовании.

1112апр. 2025ctx8.2K
textcc-by-nc-4.0hugging-face
mlx-community
Chatterbox-Turbo-TTS-fp16

Chatterbox-Turbo-TTS-fp16 — версия Chatterbox Turbo для MLX, подготовленная mlx-community из ResembleAI/chatterbox-turbo с помощью mlx-audio-plus 0.1.6. Это плотная модель синтеза речи, принимающая текст и создающая аудио; карточка указывает английский язык. Модель предназначена для преобразования текста в речь в приложениях, работающих через mlx-audio-plus. Для запуска нужны веса S3TokenizerV2 из mlx-community/S3TokenizerV2; README сообщает, что они загружаются автоматически. Репозиторий распространяется в формате safetensors и помечен fp16; для использования требуется библиотека mlx-audio-plus. Сведения о лицензии и числовых характеристиках модели в предоставленных данных отсутствуют.

2882дек. 2025ctx1K
textaudiohugging-face
onecxi
csm-english-multi-speaker-v2

onecxi/csm-english-multi-speaker-v2 — дообученная с помощью Unsloth модель синтеза речи на основе Sesame CSM 1B. Она преобразует английский текст в аудио и позволяет выбирать один из пяти голосов: четыре голоса из набора Expresso и женский голос из набора Jenny. Модель обучена на данных Expresso и Jenny и предназначена для многоголосой генерации английской речи. Модель имеет плотную архитектуру CSM с классом CsmForConditionalGeneration, содержит 977,3 млн параметров, принимает текст и аудиоконтекст в пределах контекста 2048 токенов и выдаёт аудио. Репозиторий содержит веса Safetensors; модель распространяется по лицензии Apache-2.0. Карточка рекомендует исследовательское и учебное применение и запрещает клонирование голоса человека без его согласия, а также создание обманного или незаконного контента.

973июль 2025ctx2K
textaudioapache-2.0hugging-face
FINAL-Bench
Darwin-TTS-1.7B-Cross

Darwin-TTS-1.7B-Cross — модель синтеза речи, созданная авторами Darwin Family на основе весов Qwen3-TTS-1.7B-Base и Qwen3-1.7B. Она объединяет 3% FFN-весов языковой модели Qwen3-1.7B с talker-модулем TTS-модели, чтобы усилить эмоциональную выразительность синтезированной речи. По заявлению авторов, при слиянии не проводилось дообучение; остальные компоненты речевого кодека сохранены без изменений. Модель имеет архитектуру Qwen3-TTS и около 2,1 млрд параметров. Она предназначена для генерации речи из текста и заявлена как многоязычная: поддерживает корейский, английский, японский, китайский, немецкий, французский, русский, португальский, испанский и итальянский языки. В метаданных указан формат safetensors и лицензия Apache 2.0. Авторы сообщают, что доля слияния выше 10% может нарушать генерацию и приводить к чрезмерно длинным выходам; отдельные количественные оценки качества в карточке не приведены.

13455апр. 2026ctx131.1K
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей