/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
691–720 из 4 835
loom-ai-org
pocket-tts-loom

Pocket TTS (English) — экспорт для loom.cpp модели Kyutai, выпущенной в 2026 году. Это flow language model примерно на 100 млн параметров, которая преобразует текст в речь через латенты аудиокодека Mimi. Веса не изменены относительно kyutai/pocket-tts; репозиторий упаковывает их в формат GGUF и включает встроенный драйвер. Модель рассчитана на синтез речи на английском языке. Встроен голос alba, ещё 25 голосов доступны отдельными файлами; можно также использовать собственный файл состояния голоса. Экспорт предназначен для запуска через loom-py-rt. По умолчанию генерация семплируется с температурой 0,3, поэтому результаты могут различаться; seed позволяет воспроизвести результат. Длинный текст разбивается на предложения длиной до 50 токенов, а более длинные предложения делятся по запятым. Лицензия модели — CC-BY-4.0; для голосов действуют отдельные лицензии записей, некоторые из них запрещают коммерческое использование. Сохраняются ограничения исходной модели Kyutai, включая запрет на имитацию или клонирование голоса без законного согласия и на выдачу синтезированной речи за подлинную запись человека.

5300сент. 2026
textaudiocc-by-4.0hugging-face
vadimbelsky
qwen3.5-TTS-Emirati

vadimbelsky/qwen3.5-TTS-Emirati — дообученная модель синтеза речи на базе Qwen3-TTS-12Hz-1.7B-Base, опубликованная пользователем vadimbelsky. В карточке описано добавление поддержки арабского языка в базовую модель, изначально не имевшую арабского в словаре токенов аудиокодека. Для арабского добавлены языковое встраивание и отдельный префикс кодека; датасет автоматически распознаёт арабский текст по диапазону Unicode. Название указывает на эмиратский вариант арабского, однако карточка не уточняет его диалектные особенности. Модель предназначена для преобразования текста в речь; карточка также показывает пример генерации речи на английском с пользовательским голосом. Архитектура — плотная Qwen3-TTS с условной генерацией, веса представлены в safetensors. Поддерживаемые языки по метаданным — арабский и английский. Лицензия — Apache-2.0. Карточка не приводит отдельной оценки качества или подробных ограничений применения.

2393март 2026ctx131.1K
textaudioapache-2.0hugging-face
MahmoudIbrahim
Qwen3TTS0.6-ar-s-ali

Mahmoud Ibrahim подготовил дообученную модель Qwen3-TTS-12Hz-0.6B для синтеза арабской речи с пользовательским профилем голоса ali. Модель предназначена для преобразования текста в аудио на арабском языке, с акцентом на египетский диалект; в карточке Hugging Face указана задача text-to-speech и архитектура Qwen3TTSForConditionalGeneration. Модель распространяется в формате safetensors по лицензии Apache-2.0. README указывает базовую модель Qwen3-TTS-12Hz-0.6B. Сведения о размере и длине контекста в предоставленных метаданных и README отсутствуют.

2660сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
cstr
qwen3-tts-0.6b-customvoice-GGUF

cstr/qwen3-tts-0.6b-customvoice-GGUF — GGUF-квантизированная версия модели Qwen3-TTS-12Hz-0.6B-CustomVoice, разработанной Qwen/QwenLM и подготовленной для работы с CrispASR. Это модель синтеза речи из текста с фиксированными голосами: она генерирует аудио без эталонного WAV-файла и клонирования голоса. Модель предназначена для локального text-to-speech и поддерживает английский, китайский, немецкий, французский, итальянский, испанский, португальский, японский и корейский языки. Доступны девять встроенных голосов, включая мужские и женские варианты; для Dylan и Eric предусмотрены диалектные режимы пекинского и сычуаньского китайского. Используется talker на базе Qwen3 с 28 слоями, скрытым размером 1024, 16 головами внимания и 8 KV-головами. Выход представляет собой 16 кодовых книг RVQ по 2048 значений, декодируемых отдельным Qwen3-TTS-Tokenizer-12Hz в монофонический PCM-аудиосигнал 24 кГц. В поставке указан файл Q8_0 размером около 968 МБ, рекомендованный авторами; по заявлению README, проверка через ASR показывает в основном точное соответствие синтезированного текста исходному. Сильные стороны модели — компактный размер, работа без референсного аудио, несколько готовых голосов и интеграция с локальным CrispASR. Ограничения — отсутствие произвольного клонирования и дизайна голоса, необходимость отдельной модели кодека и совместимого runtime, а также ограниченный набор встроенных голосов и языковых режимов. Модель распространяется по лицензии Apache 2.0. Для генерации требуется совместный файл Qwen3-TTS-Tokenizer-12Hz-GGUF; README описывает использование через backend qwen3-tts-customvoice в CrispASR.

9.5K4май 2026
textaudioapache-2.0hugging-face
mlx-community
Qwen3-TTS-12Hz-0.6B-CustomVoice-4bit

Qwen3-TTS-12Hz-0.6B-CustomVoice-4bit — модель синтеза речи, разработанная сообществом mlx-community и конвертированная из Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice в формат MLX с использованием mlx-audio 0.3.0. Модель предназначена для генерации речи по тексту и поддерживает сценарии, связанные с пользовательскими голосами и клонированием голоса по эталонной аудиозаписи. Известно, что модель имеет размер 0.6B параметров, работает в 4-битном представлении и использует частоту дискретизации 12 Hz, однако подробности архитектуры, поддерживаемые языки и максимальная длина контекста в README не указаны. Для работы используется библиотека mlx-audio; приведённые примеры показывают генерацию аудио из текста с возможностью передать путь к референсной аудиозаписи. К сильным сторонам относятся компактный размер, 4-битная квантизация и адаптация к MLX, что может быть удобно для запуска в соответствующей экосистеме. Ограничения, качество синтеза, требования к оборудованию и точный набор поддерживаемых функций следует уточнять в оригинальной карточке модели. Лицензия — Apache-2.0.

1.4K0янв. 2026ctx131.1K
textaudioapache-2.0hugging-face
mlx-community
Qwen3-TTS-12Hz-1.7B-CustomVoice-8bit

Qwen3-TTS-12Hz-1.7B-CustomVoice-8bit — это 8-битная квантованная версия модели синтеза речи Qwen3-TTS-12Hz-1.7B-CustomVoice, преобразованная в формат MLX сообществом mlx-community с помощью библиотеки mlx-audio версии 0.3.0. Базовую модель разработала команда Qwen. Модель предназначена для преобразования текста в речь и сценариев генерации речи с пользовательским голосом; в примере использования предусмотрена передача эталонного аудиофайла. Запуск рассчитан на библиотеку mlx-audio и MLX-совместимое окружение. Известны размер базовой модели 1,7 млрд параметров, частота 12 Hz и 8-битное представление. Сведения о поддерживаемых языках, длине контекста, точной архитектуре и полном наборе модальностей в README не указаны. К сильным сторонам относятся MLX-формат, ориентированный на запуск в соответствующей экосистеме, а также уменьшенное 8-битное представление, потенциально снижающее требования к памяти. Ограничения и качество работы в различных языках, голосах и аудиосценариях в предоставленных данных не описаны. Модель распространяется по лицензии Apache-2.0.

7.9K35янв. 2026ctx131.1K
textaudioapache-2.0hugging-face
mlx-community
Soprano-1.1-80M-bf16

mlx-community/Soprano-1.1-80M-bf16 — версия модели Soprano-1.1-80M, подготовленная сообществом mlx-community для запуска через библиотеку mlx-audio. Модель на базе архитектуры Qwen3ForCausalLM содержит 75,5 млн параметров и предназначена для синтеза речи из текста; формат репозитория — safetensors. Модель подходит для преобразования текста в речь в приложениях, использующих MLX. Согласно описанию базовой модели, она ориентирована на быстрое создание выразительной английской речи. Контекст модели — 1024 токена. README указывает на исходную карточку ekwek/Soprano-1.1-80M для подробностей; лицензия и дополнительные языки в предоставленных данных не описаны.

4972февр. 2026ctx1K
texthugging-face
ThuraAung1601
speecht5_for_thai_tts_v1

SpeechT5-TTS-v1 for Thai — модель синтеза речи из текста, созданная ThuraAung1601 дообучением microsoft/speecht5_tts на наборе Edited Thai Common Voice. Она предназначена для преобразования тайского текста в аудио; в карточке указано значение loss 0.5074 на оценочной выборке. Модель использует архитектуру SpeechT5 и распространяется в формате safetensors. Модель выпущена под лицензией MIT. Карточка не сообщает сведения о размере модели, длине контекста, голосах, качестве звучания или ограничениях применения.

990апр. 2025ctx600
textaudiomithugging-face
mradermacher
svara-tts-v1-GGUF

svara-tts-v1-GGUF — это квантованные файлы модели Svara TTS v1, разработанной kenpath и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для синтеза речи из текста, включая многоязычные и индийские языковые сценарии, а также задачи с низкой задержкой, zero-shot-синтезом и управлением эмоциями, если это поддерживается исходной моделью. В карточке указана архитектурная основа Orpheus и использование LoRA, дискретных аудиотокенов и библиотеки Transformers. Поддерживаются хинди, бенгальский, маратхи, телугу, каннада, бходжпури, магадхи, чхаттисгархи, майтхили, ассамский, бодо, догри, гуджарати, малаялам, пенджаби, тамильский, непальский, санскрит и английский языки. Размер исходной модели и максимальная длина контекста не указаны. Доступны варианты квантования от Q2_K размером около 1,5 ГБ до F16 размером около 6,7 ГБ. Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а F16 — как избыточный по объёму. Квантование уменьшает требования к ресурсам, но варианты с более низкой точностью могут снижать качество синтеза. В README также не приведены подробности о качестве голосов, поддерживаемых дикторах, требованиях к запуску и совместимости конкретных инструментов. Лицензия модели — Apache-2.0.

9022окт. 2025
textaudioapache-2.0hugging-face
Mungert
Veena-GGUF

Veena-GGUF — GGUF-версия модели Veena, разработанной Maya Research для синтеза речи из текста. Модель предназначена для генерации естественной и выразительной речи на хинди и английском языках, включая смешанные англо-хинди сценарии. Она может применяться в голосовых интерфейсах, озвучивании контента и других задачах text-to-speech. В основе лежит авторегрессионный трансформер на архитектуре Llama с примерно 3 млрд параметров. Для кодирования аудио используется нейронный кодек SNAC, выходной звук имеет частоту дискретизации 24 кГц. Доступны четыре голоса: kavya, agastya, maitri и vinaya. В исходной карточке заявлена задержка менее 80 мс на GPU H100-80GB, а также поддержка 4-битного квантования. Данный репозиторий содержит GGUF-модели, созданные с помощью llama.cpp; для некоторых слоёв применено повышение точности квантования, что может улучшать качество при одновременном увеличении размера файла. Сильными сторонами являются поддержка хинди, английского и их смешения, несколько вариантов голоса, высокое качество вывода и возможность эффективного инференса с квантованием. Ограничения включают отсутствие подробных данных о конкретном размере GGUF-файла, вариантах квантования и совместимости с аппаратным обеспечением, а заявленная задержка относится к H100-80GB и не гарантируется на других устройствах. Модель распространяется по лицензии Apache 2.0.

3.7K1июнь 2025
textaudioapache-2.0hugging-face
bluryar
VoxCPM-GGUF

VoxCPM-GGUF — это набор весов моделей VoxCPM, адаптированный для запуска в формате GGUF через проект VoxCPM.cpp на базе ggml. Модель разработана сообществом OpenBMB, а репозиторий и конвертацию для C++-инференса поддерживает bluryar. Назначение модели — синтез речи из текста с использованием аудиоподсказки и текстовой расшифровки, что позволяет задавать характеристики целевого голоса и применять voice cloning-сценарии. В карточке указаны базовые модели openbmb/VoxCPM1.5 и openbmb/VoxCPM-0.5B. Доступны варианты квантования Q4_K, Q8_0, F16 и F32, включая конфигурации с AudioVAE-F16. Для инференса поддерживаются CPU, CUDA и Vulkan. Входными данными служат текст, а также prompt-аудио и соответствующий prompt-текст; выходом является WAV-аудио. В README приведены примеры на китайском языке, однако полный список поддерживаемых языков и размер контекстного окна не указаны. К сильным сторонам относятся автономный C++-инференс, существенно меньший размер квантованных файлов и возможность работы на CPU или GPU. Для voxcpm-0.5b размер варианта Q4_K составляет около 477 МБ, для voxcpm1.5 — около 582 МБ; приведённые бенчмарки показывают ускорение CUDA по сравнению с CPU. Ограничениями являются необходимость отдельного проекта VoxCPM.cpp и аудиокомпонентов для полного конвейера, а также ещё не завершённые планы по улучшению производительности и серверному OpenAI-совместимому API. Проект распространяется по лицензии Apache 2.0.

1.5K17март 2026
textaudiohugging-face
audio-cpp
Yue2-3B-GGUF

Yue2-3B-GGUF — это набор весов модели Yue2-3B, разработанный проектом m-a-p и адаптированный для работы в формате GGUF через audio.cpp. Модель предназначена для генерации музыки по текстовому описанию и тексту песни, включая сценарии прямой text-to-music генерации, поэтапного планирования, создания каверов с учётом мелодии и генерации на основе полной партитуры. В репозитории также представлены VAE-компоненты, конфигурации модели и токенизатор Qwen. Модель имеет размер 3B параметров; точная архитектура в README не указана. Доступны варианты основных весов BF16, Q8_0 и Q4_0, а также VAE в форматах F32 и F16, что позволяет выбирать между качеством, скоростью и потреблением памяти. Для BF16 с F32 VAE указано потребление до 12535 MiB VRAM, а для Q8_0 и Q4_0 с F16 VAE — около 8867 и 7755 MiB соответственно. Заявлены поддержка LoRA в audio.cpp 0.8.1 и режим работы с длинными аудиотреками; в тесте длительностью около 195–225 секунд относительное время генерации составило примерно 0,20–0,27 от длительности аудио на RTX 5090. Сильные стороны модели — локальный запуск через audio.cpp, наличие нескольких уровней квантизации и поддержка различных режимов музыкальной генерации. README демонстрирует англоязычные текстовые запросы, вокал, инструменты и музыкальные стили, однако полный набор поддерживаемых языков и другие ограничения качества не указаны. Модель распространяется по лицензии CC BY-NC 4.0, поэтому коммерческое использование может быть ограничено условиями лицензии.

190K93сент. 2026
textaudiocc-by-nc-4.0hugging-face
canopylabs
3b-hi-ft-research_release

Canopy Labs выпустила Orpheus 3B Hi Finetuned — модель синтеза речи на основе Llama, дообученную для генерации выразительной речи на хинди из текста. Она предназначена для озвучивания текста с естественной интонацией, эмоциями и ритмом, в том числе в потоковых приложениях. В карточке заявлены клонирование голоса без предварительного дообучения, управление эмоциями и интонацией с помощью тегов и потоковая задержка около 200 мс, потенциально около 100 мс при потоковой подаче текста. Модель использует Transformers и хранится в формате safetensors. В метаданных указаны связи merge с canopylabs/orpheus-3b-0.1-pretrained и meta-llama/Llama-3.2-3B-Instruct; размер модели не указан. Лицензия — Apache-2.0. Карточка предостерегает от клонирования голоса без согласия, обмана и незаконного или вредоносного использования.

13426апр. 2025
textaudioapache-2.0hugging-face
canopylabs
3b-zh-pretrain-research_release

Orpheus 3B Zh Pretrained — китайскоязычная модель синтеза речи на базе Llama, выпущенная Canopy Labs в апреле 2025 года. Это базовый чекпойнт для создания систем преобразования текста в речь и последующего дообучения под прикладные сценарии. Разработчики также указывают zero-shot клонирование голоса и классификацию среди возможных задач. Модель предназначена для генерации естественной речи с интонацией, эмоциями и ритмом; заявлена поддержка клонирования голоса без предварительного дообучения. В основе лежит дообученная Meta-Llama-3.2-3B-Instruct, загрузка и работа с весами поддерживаются через Transformers и safetensors. README описывает китайскую версию, но размер контекста и число параметров отдельно не приводит. Лицензия — Llama 3.2. Разработчики запрещают использовать модель для имитации голоса без согласия, дезинформации, обмана и незаконной или вредоносной деятельности. Качество генерации заявлено авторами; независимые оценки в карточке не приведены.

834апр. 2025
textaudiollama3.2hugging-face
desert-ant-labs
align

Align — это компактная модельная каскадная система Desert Ant Labs для уточнения временных границ слов в уже распознанной речи. Она принимает моно-аудио и слова с предварительными временными метками от Apple SpeechTranscriber или SpeechAnalyzer и возвращает те же слова с исправленными временами начала и конца; если поправка выглядит небезопасной, сохраняет исходную метку. Система дополняет распознавание и не заменяет его. Каскад состоит из двух небольших этапов. Для устройств Apple используются скомпилированные Core ML-модели в FP16 общим размером около 560 КБ; также доступны LiteRT-модели TFLite для Linux, Windows и Node. README сообщает о поддержке английского, испанского, французского, итальянского, португальского, немецкого, японского, корейского и китайского языков. Модель предназначена для уточнения меток времени в субтитрах, расшифровках и аудио-видео монтаже; заявленное время обработки — несколько миллисекунд на устройстве. В приведённых измерениях Align снижает ошибку временных границ, но результаты сравнивались преимущественно с машинными оценками, а не с полной разметкой человеком. Исправление может ухудшить отдельные границы; особенно слабый случай — произнесённые числа. Для языков вне поддерживаемого набора входные метки передаются без изменений. В метаданных указана лицензия other; конкретные условия лицензии в предоставленных данных не раскрыты.

97812авг. 2026
textaudiootherhugging-face
nvidia
bigvgan_base_24khz_100band

BigVGAN — нейросетевой вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Этот репозиторий содержит вариант для синтеза звуковой волны с частотой дискретизации 24 кГц по мел-спектрограмме с 100 полосами; модель предназначена для преобразования акустических признаков в аудио. Вариант относится к семейству BigVGAN-v2. В README для близкого чекпойнта с конфигурацией 24 кГц и 100 полос указано 112 млн параметров, коэффициент передискретизации 256 и обучение на крупной компиляции аудиоданных; точные характеристики именно этого репозитория метаданные не приводят. Версия BigVGAN-v2 ориентирована на ускоренный вывод, для которого доступно CUDA-ядро. Модель подходит для синтеза речи и других типов звука из мел-спектрограмм, но сама по себе не принимает текст и не выполняет преобразование текста в речь: для подготовки спектрограммы нужна другая модель или внешний этап. Для CUDA-ускорения требуется совместимая среда с CUDA, nvcc и ninja. Лицензия репозитория — MIT.

3735июль 2024
audiomithugging-face
EMTIAZZ
chatterbox-bangla-tts

EMTIAZZ/chatterbox-bangla-tts — дообученная версия Chatterbox TTS от Resemble AI для синтеза речи на бенгальском языке (бангла). Для адаптации изменён компонент T3, преобразующий текст в речевые токены; S3Gen и VoiceEncoder остаются замороженными. Модель поддерживает синтез с клонированием голоса по короткому аудиофрагменту. Модель предназначена для создания озвучивания на бангла и генерации речи с характеристиками голоса из референсной записи. Для клонирования README рекомендует чистое референсное аудио длительностью не менее трёх секунд; качество может зависеть от сходства говорящего с обучающими данными. В карточке указана лицензия MIT; README также рекомендует сверяться с условиями Resemble AI для коммерческого использования.

1053март 2026
textaudiomithugging-face
nari-labs
Dia-1.6B

Dia — текстовая модель синтеза речи на 1,6 млрд параметров, созданная Nari Labs. Она преобразует текстовую расшифровку в реалистичную диалоговую речь и поддерживает разметку реплик тегами [S1] и [S2]. Можно задать аудио как условие генерации, чтобы управлять интонацией и эмоциями; также модель воспроизводит неречевые звуки, например смех, кашель и вздохи. Модель предназначена для генерации английских диалогов, клонирования голоса и экспериментов с выразительной речью. Для работы проверена конфигурация с GPU, PyTorch 2.0+ и CUDA 12.6; поддержка CPU на момент описания не заявлена. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0; авторы указывают исследовательское и образовательное назначение и запрещают злоупотребление сходством с реальными людьми и создание вводящего в заблуждение контента.

25K2.9Kапр. 2025
textaudioapache-2.0hugging-face
mlx-community
Dia-1.6B-fp16

mlx-community/Dia-1.6B-fp16 — конвертированная в формат MLX версия модели Dia-1.6B от Nari Labs. Она предназначена для синтеза речи по тексту и рассчитана на работу в экосистеме MLX; исходная модель описана как англоязычная система для реалистичной диалоговой речи с управлением голосом и эмоциями по аудиоусловию. Репозиторий содержит веса в формате safetensors и использует библиотеку MLX. Модель подходит для генерации диалоговых реплик и озвучивания текстов на английском языке. README отсылает к карточке исходной модели за подробностями; лицензия репозитория — Apache-2.0. Параметры контекста и иные характеристики качества в доступных данных не приведены.

3183апр. 2025
textaudioapache-2.0hugging-face
freococo
F5-Myanmar-TTS

F5-TTS Burmese v2 — модель синтеза речи на основе Flow-Matching Diffusion Transformer, разработанная автором репозитория freococo. Она обучена на более чем 794,5 часа бирманской речи и содержит около 337 млн параметров; карточка описывает 22 слоя, 16 голов и размерность 1024. Модель предназначена для преобразования текста на бирманском языке в речь и поддерживает клонирование голоса по образцу. Автор сообщает об улучшениях фонетического выравнивания, передачи тонов, естественности разговорной речи и сокращении обрывов аудио; веса FP16 занимают около 674 МБ. Модель подходит для озвучивания текста и создания речи голосом-образцом. В репозитории также доступны промежуточные чекпойнты для продолжения дообучения. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Длина контекста и условия качества за пределами описанных автором сценариев в карточке не приведены.

1.6K5сент. 2026
textaudiocc-by-nc-4.0hugging-face
BNarayanaReddy
higgs-telugu-e4-lora-avg

Это дообученная версия Higgs Audio v3 размером 4 млрд параметров для синтеза речи на телугу голосом одного диктора. Модель преобразует текст в выразительную речь и может работать с переключением между телугу и английским; референсный аудиофрагмент для генерации не нужен. Для телугу требуется текст в ISO-15919-транслитерации и тот же frontend.py, который применялся при обучении: без него токенизация может разбивать текст на байтовые фрагменты. В README указано, что это первая исследовательская версия адаптации. Лицензия в метаданных обозначена как other, конкретные условия использования не приведены.

230сент. 2026ctx131.1K
textotherhugging-face
Anjan9320
IndicF5

Карточка модели Anjan9320/IndicF5 на Hugging Face совпадает с карточкой ai4bharat/IndicF5, поэтому описание составлено по ней. IndicF5 — полиглотная модель синтеза речи от AI4Bharat, обученная на 1417 часах аудио из Rasa, IndicTTS, LIMMITS и IndicVoices-R. Она преобразует текст в речь на 11 индийских языках: ассамском, бенгальском, гуджарати, хинди, каннада, малаялам, маратхи, одиа, пенджаби, тамильском и телугу. Для генерации нужны текст, эталонный аудиофрагмент и его расшифровка; эталон задаёт характеристики голоса и просодию. Модель предназначена для синтеза речи с управлением голосом по примеру, например для озвучивания текстов и создания голосовых интерфейсов на поддерживаемых языках. Авторы характеризуют качество как близкое к человеческому. Лицензия — MIT. Использовать клонирование голоса разрешено только при наличии явного согласия владельца; несанкционированное клонирование запрещено.

1940май 2025
textaudiohugging-face
rsolanki1822
IndicF5-mirror

Карточка модели rsolanki1822/IndicF5-mirror на Hugging Face совпадает с карточкой ai4bharat/IndicF5, поэтому описание составлено по ней. IndicF5 — полиглотная модель синтеза речи от AI4Bharat, обученная на 1417 часах аудио из Rasa, IndicTTS, LIMMITS и IndicVoices-R. Она преобразует текст в речь на 11 индийских языках: ассамском, бенгальском, гуджарати, хинди, каннада, малаялам, маратхи, одиа, пенджаби, тамильском и телугу. Для генерации нужны текст, эталонный аудиофрагмент и его расшифровка; эталон задаёт характеристики голоса и просодию. Модель предназначена для синтеза речи с управлением голосом по примеру, например для озвучивания текстов и создания голосовых интерфейсов на поддерживаемых языках. Авторы характеризуют качество как близкое к человеческому. Лицензия — MIT. Использовать клонирование голоса разрешено только при наличии явного согласия владельца; несанкционированное клонирование запрещено.

3390авг. 2026
textaudiomithugging-face
cstr
irodori-tts-GGUF

Irodori-TTS-500M-v3 GGUF — это GGUF/GGML-квантизированная версия модели синтеза речи Aratako/Irodori-TTS-500M-v3, разработанной Aratako. Репозиторий cstr/irodori-tts-GGUF содержит только преобразование формата и варианты квантизации исходных весов, без дообучения, объединения или изменения архитектуры и возможностей. Модель предназначена для использования с CrispStrobe/CrispASR. Модель ориентирована прежде всего на синтез японской речи, включая смешанный текст, и поддерживает zero-shot клонирование голоса по образцу аудио через латентное кондиционирование DAC-VAE. Это 500-миллионная Rectified Flow Diffusion Transformer (RF-DiT) с 102-тысячным BPE-словарём токенизатора sarashina2.2. Архитектура включает текстовый энкодер и DiT-блок на 24 слоя с размерностью 2048, а генерация выполняется решателем Euler RF ODE за 40 шагов с classifier-free guidance. Выход — монофонический звук 48 кГц. Доступны варианты F16, Q4_K и Q8_0; Q4_K указан как рекомендуемый и занимает около 852 МБ, что позволяет разместить модель в 8 ГБ RAM, а Q8_0 обеспечивает качество, близкое к исходному. Качество и требования к ресурсам зависят от выбранной квантизации. Модель ориентирована на японский язык, поэтому пригодность для других языков README не подтверждает. Для клонирования голоса требуется эталонная аудиозапись, а лицензия MIT распространяется с учётом условий лицензии исходной модели.

1.1K1июль 2026
textaudiomithugging-face
SebastianBodza
Kartoffel_Orpheus-3B_german_natural-v0.1

Kartoffel Orpheus-3B German Natural — модель преобразования немецкого текста в речь, созданная SebastianBodza на основе Orpheus-3B. Версия Natural дообучена на записях естественной немецкой речи из подкастов, лекций и других материалов OER, обработанных конвейером в стиле Emilia. Модель предназначена для синтеза речи с несколькими предустановленными голосами. Модель может генерировать речь с разными интонациями, но в этой версии поддержка эмоций и выразительности ограничена. Автор отмечает, что некоторые голоса нестабильны, отдельные голоса могут дублироваться, а оценка пола голоса ненадёжна. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия указана как Llama 3.2.

109K20апр. 2025
textaudiollama3.2hugging-face
shyngys879
KazakhTTS-OmniVoice

KazakhTTS-OmniVoice — модель синтеза казахской речи, разработанная на основе OmniVoice и дообученная для казахского языка. Она принимает текст и генерирует речь; для работы предназначена библиотека omnivoice. Модель поддерживает управление характеристиками голоса через подсказки: можно задавать мужской или женский голос, возрастной стиль от детского до пожилого, а также низкую, умеренную или высокую высоту тона. При дообучении использовались данные ISSAI_KazakhTTS2 и синтетические примеры с контролируемыми характеристиками голоса. Модель ориентирована на озвучивание текстов на казахском языке с настройкой звучания голоса. Карточка не приводит размер модели и длину контекста. Лицензия в предоставленных данных не указана; исходный датасет ISSAI_KazakhTTS2 не включён в репозиторий.

1.2K4июль 2026ctx131.1K
textaudiohugging-face
rtrthryjh
Kokoro-82M-Backpack-TTS

Карточка модели rtrthryjh/Kokoro-82M-Backpack-TTS на Hugging Face совпадает с карточкой backpack-run/Kokoro-82M-Backpack-TTS, поэтому описание составлено по ней. Это пакет голосов Kokoro-82M, подготовленный Backpack для локального синтеза речи. Он содержит неизменённые артефакты модели hexgrad/Kokoro-82M в формате PyTorch и предназначен для использования с голосовым runtime Backpack; пакет не заменяет выбранную пользователем чат-модель и не является результатом обучения Backpack. Модель преобразует текст в аудио. В комплект входят четыре файла голосов: af_heart, am_michael, bf_emma и bm_george. В README указана поддержка нескольких языков, а метаданные описывают базовую модель как компактную многоязычную систему синтеза речи. Пакет прошёл проверку загрузки и детерминированного вывода аудио. Для запуска README рекомендует kokoro==0.9.4 и интерфейсы KModel и KPipeline. Лицензия — Apache-2.0. Ограничения качества синтеза для отдельных языков и акцентов могут различаться; в README также отмечено, что синтезированная речь может вводить в заблуждение.

240сент. 2026
textaudioapache-2.0hugging-face
dinhthuan
kokoro-vi-ngoc-huyen

Kokoro Vietnamese — Ngọc Huyền — это дообученная модель синтеза речи на базе hexgrad/Kokoro-82M, подготовленная для голоса Ngọc Huyền. Репозиторий содержит инференсный чекпойнт PyTorch, голосовой пакет и конфигурацию с вьетнамским словарём; обучение и дообучение в репозитории не описаны. Модель преобразует текст на вьетнамском языке в речь. Для преобразования графем в фонемы используется vig2p и адаптированный фронтенд Kokoro, который учитывает вьетнамские начальные согласные и тоны. Модель рассчитана на синтез одним голосом; сведений о размере, длине контекста или других поддерживаемых языках карточка не содержит. Лицензия — Apache-2.0. Для работы требуется совместимый инференсный код и вьетнамский фронтенд из репозитория; качество произношения зависит от корректной обработки вьетнамского текста и фонемизации.

902авг. 2026
textaudioapache-2.0hugging-face
aufklarer
Magpie-TTS-Multilingual-357M-MLX-8bit

Magpie-TTS-Multilingual-357M-MLX-8bit — порт модели преобразования текста в речь NVIDIA Magpie-TTS Multilingual 357M для библиотеки MLX и Apple Silicon. Это авторегрессионная модель с несколькими кодовыми книгами аудио, которая генерирует речь через Nano-Codec с последующим декодированием в монофонический звук с частотой 22,05 кГц. Модель содержит 357 млн параметров; веса основных компонентов квантованы до INT8, а декодер кодека работает в FP16. Модель предназначена для синтеза речи на английском, испанском, немецком, французском, итальянском, вьетнамском, китайском, хинди и японском языках. Её можно применять для озвучивания текста в приложениях и локальных сценариях на Apple Silicon. Карточка описывает проверку синтеза на отдельных тестовых фразах, но она не доказывает качество на произвольных текстах. Для работы с японским текстом README отдельно указывает на предварительную токенизацию и преобразование в фонетическую форму. Лицензия указана как other; исходные веса NVIDIA распространяются по NVIDIA Open Model License.

2590май 2026
textaudiootherhugging-face
facebook
mms-tts-ell

facebook/mms-tts-ell — модель синтеза греческой речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она предназначена для озвучивания греческих текстов; отдельный чекпойнт MMS-TTS обучен для каждого языка. Модель использует архитектуру VITS и генерирует речевую аудиоволну непосредственно из текстовой последовательности. В ней сочетаются вариационный автоэнкодер, Transformer-кодировщик текста, нормализующие потоки, HiFi-GAN-подобный декодер и стохастический предсказатель длительности. Чекпойнт содержит 3,6 млн параметров и доступен в форматах PyTorch и Safetensors. Он интегрирован с библиотекой Transformers начиная с версии 4.33. Из-за стохастического предсказателя длительности одинаковый текст может получать разный ритм и звучание; для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1.0K3сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей