/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
631–660 из 4 835
myshell-ai
MeloTTS-French

MeloTTS-French — франкоязычная версия многоязычной системы синтеза речи MeloTTS, разработанной MyShell.ai. Она преобразует входной текст в речь и предназначена для локального использования через библиотеку MeloTTS. В карточке MeloTTS заявлены высокое качество синтеза и скорость, достаточная для работы в реальном времени на CPU. Для конкретной версии French сведения о голосах и дополнительных настройках не приведены. Репозиторий содержит веса PyTorch; лицензия — MIT.

7.6K18февр. 2024
textaudiomithugging-face
beleata74
mio-tts-0.6b-bg-finetuned

Это дообученная модель beleata74 на базе Aratako/MioTTS-0.6B для синтеза речи на болгарском языке. Она использует плотную архитектуру Qwen3ForCausalLM с 520,7 млн параметров и генерирует речевые токены из текста; для инференса применяется совместимый конвейер MioCodec. Контекст модели — 32 768 токенов. Модель обучали на болгарском наборе данных с частотой дискретизации 24 кГц и двумя дикторами; финальный запуск проводился на отфильтрованной подвыборке. Архитектура и токенизатор базовой модели сохранены, изменены обученные веса. Модель подходит для экспериментов и инженерных задач синтеза болгарской речи. Карточка также предупреждает соблюдать местные законы при клонировании голоса. Лицензия — Apache-2.0. Качество и поведение модели при других языках и голосах в карточке не охарактеризованы.

2414февр. 2026ctx32.8K
textapache-2.0hugging-face
Aratako
MioTTS-1.2B

MioTTS-1.2B — компактная модель синтеза речи на основе языковой модели, разработанная Aratako. Она преобразует текст в речь на английском и японском языках и поддерживает клонирование голоса по короткому аудиофрагменту. Модель дообучена на LiquidAI/LFM2.5-1.2B-Base, использует плотную архитектуру LFM2 и аудиокодек MioCodec-25Hz-24kHz. В метаданных указано 1,5 млрд параметров и контекст 128 000 токенов. Модель рассчитана на быструю генерацию речи при умеренных требованиях к ресурсам; README сообщает об обучении примерно на 100 000 часах англоязычных и японских данных и приводит замеры скорости на NVIDIA RTX 5090. Для запуска авторы предлагают отдельный репозиторий с инструкциями и WebUI. Лицензия указана как other, а README характеризует её как разрешительную, но конкретные условия следует уточнить в карточке модели. Клонирование голоса требует учитывать права и согласие людей; авторы предостерегают от обманного использования синтезированной речи.

677февр. 2026ctx128K
textotherhugging-face
KrorngAI
mms-tts-khm-finetuned

KrorngAI/mms-tts-khm-finetuned — дообученная модель синтеза речи на кхмерском языке из проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания кхмерских фраз и текстов. Модель основана на VITS и содержит 3,6 млн параметров; для работы используется библиотека Transformers. VITS синтезирует речь сквозным образом, сочетая текстовый энкодер, потоковые слои, стохастический предиктор длительности и декодер на основе HiFi-GAN. Стохастический предиктор позволяет получать варианты с разным ритмом, поэтому результат не детерминирован: для повторения того же аудио нужен фиксированный seed. Модель дообучена на наборе seanghay/khmer_mpwt_speech поверх facebook/mms-tts-khm. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение.

1420июль 2025
textaudiocc-by-nc-4.0hugging-face
maanka2
MOSS-Audio-Tokenizer-Nano

Карточка модели maanka2/MOSS-Audio-Tokenizer-Nano на Hugging Face совпадает с карточкой OpenMOSS-Team/MOSS-Audio-Tokenizer-Nano, поэтому описание составлено по ней. MOSS-Audio-Tokenizer-Nano — компактный аудиотокенизатор команды OpenMOSS-Team для MOSS-TTS-Nano и совместимых рабочих процессов семейства MOSS-TTS. Это модель на основе причинного Transformer по архитектуре Cat, которая кодирует стереозвук в дискретную последовательность токенов и восстанавливает его из неё. В чекпойнте около 22 млн параметров; модель принимает и выдаёт стереозвук с частотой 48 кГц, а частота потока кодов составляет 12,5 Гц. Остаточный квантователь использует 16 кодовых книг по 1024 элемента и поддерживает битрейт от 0,125 до 2 кбит/с. Модель предназначена для компактного представления и восстановления речи, музыки и других аудиосигналов, включая потоковые сценарии с низкой задержкой. Её можно применять как аудиотокенизатор в генерации речи и других рабочих процессах, которым нужна дискретная аудиорепрезентация. Для загрузки реализации может потребоваться Transformers с включённым trust_remote_code. Репозиторий распространяется по лицензии Apache-2.0. README приводит сравнительные оценки качества восстановления на английском LibriSpeech и китайском AISHELL-2, а также на наборах AudioSet и MUSDB. Интерфейс требует стереовход формы (2, T) или (B, 2, T); заявлена потоковая обработка чанками, но непрерывное пакетное декодирование имеет ограничения по состоянию и параллельности: одна активная потоковая сессия декодирования на экземпляр модели, без непрерывного пакетного кодирования и одновременной работы нескольких сессий на одном экземпляре.

120июнь 2026
textembeddingapache-2.0hugging-face
OpenMOSS-Team
MOSS-TTSD-v0.5

MOSS-TTSD-v0.5 — двуязычная модель синтеза разговорной речи от команды OpenMOSS-Team. Она дообучена на Qwen/Qwen3-1.7B-Base, содержит 1,7 млрд параметров и принимает текстовые сценарии диалога двух собеседников, чтобы создавать выразительную речь с переключением между голосами. Модель поддерживает китайский и английский языки, клонирование голосов по коротким образцам без дополнительного обучения и генерацию речи длительностью до 960 секунд за один сеанс. Модель предназначена для создания подкастов, озвучивания диалогов и других длинных разговорных аудиозаписей. В основе — архитектура MossTTSDForCausalLM и семантико-акустический аудиокодек; контекст составляет 32 768 токенов. Репозиторий распространяет веса в формате safetensors. Лицензия Apache-2.0 разрешает коммерческое использование.

22754июль 2025ctx32.8K
textapache-2.0hugging-face
aufklarer
OmniVoice-MLX-fp16

OmniVoice-MLX-fp16 — конверсия многоязычной модели синтеза речи k2-fsa/OmniVoice в формат MLX с точностью fp16, подготовленная для стека Soniqo на базе speech-swift. Модель использует одноэтапную архитектуру NAR discrete diffusion с двунаправленным Qwen3 в качестве основы и кодеком Higgs-audio v2; репозиторий содержит веса основного модуля, аудиотокенизатора и текстовый токенизатор. Модель предназначена для преобразования текста в речь и zero-shot клонирования голоса более чем на 600 языках. Размер весов fp16 составляет около 1,5 ГБ вместо примерно 3,3 ГБ у исходного fp32-варианта. README сообщает о проверке исходной модели на пяти английских предложениях с результатом около 0% WER; это ограниченная проверка, а не широкая оценка качества. Модель распространяется по лицензии Apache-2.0. Для запуска требуется совместимый стек MLX; качество речи и поддержка конкретных языков могут различаться, а приведённая проверка охватывает только небольшой английский набор.

480июнь 2026ctx131.1K
textaudioapache-2.0hugging-face
meandyou200175
omv5

Карточка модели meandyou200175/omv5 на Hugging Face совпадает с карточкой kjanh/KhanhTTS-OmniVoice, поэтому описание составлено по ней. KhanhTTS — модель синтеза речи на базе OmniVoice, дообученная автором для озвучивания текста на вьетнамском и английском языках. Она поддерживает клонирование голоса по короткому образцу и рассчитана на более естественное произношение на обоих языках; для работы используется библиотека OmniVoice. Обучение проводилось примерно на 1500 часах вьетнамской и английской аудиозаписи. Модель подходит для озвучивания текстов и создания речи с голосовыми характеристиками предоставленного образца. В репозитории указаны веса Safetensors и лицензия Apache-2.0. Автор рекомендует предварительное тестирование и оценку рисков; клонирование чужого голоса без законного согласия и использование для обмана запрещены.

170июнь 2026ctx131.1K
textaudioapache-2.0hugging-face
syvai
plapre-nano

Plapre Nano — модель синтеза речи на датском языке, разработанная syv-ai. Она преобразует датский текст в аудио с частотой дискретизации 24 кГц, поддерживает выбор готового голоса, кондиционирование по голосу и клонирование голоса по эталонной аудиозаписи. Модель предназначена для озвучивания текста, создания голосовых интерфейсов и генерации длинных аудиофрагментов с разбиением текста на предложения. В основе используется архитектура SmolLM2-360M на базе LLaMA с 32 слоями и размером скрытого представления 960. Объём составляет около 334,6 млн параметров основной модели и 123 тыс. параметров проекции говорящего. Модель авторегрессионно предсказывает аудиотокены Kanade с частотой 25 токенов в секунду, после чего они декодируются в звуковую волну. Словарь содержит 20 802 элемента: 8 000 BPE-токенов для текста, 12 800 аудиотокенов и разделители. Для кондиционирования используется 128-мерное представление говорящего; вычисления выполняются в формате bfloat16. Модель обучалась на наборах NST-DA и FTSpeech. Среди её сильных сторон — поддержка нескольких встроенных датских голосов, клонирование голоса и возможность повторно использовать извлечённое представление говорящего. README не содержит данных о показателях качества, производительности, устойчивости к различным стилям речи или ограничениях при работе с текстами, отличными от датского. Модель распространяется по лицензии Creative Commons Attribution 4.0 International (CC BY 4.0).

21927февр. 2026
textaudiocc-by-4.0hugging-face
shahidijaz
Qwen3-TTS-12Hz-1.7B-CustomVoice

Карточка модели shahidijaz/Qwen3-TTS-12Hz-1.7B-CustomVoice на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-1.7B-Base, поэтому описание составлено по ней. Qwen3-TTS-12Hz-1.7B-Base — базовая плотная модель семейства Qwen3-TTS, разработанная командой Qwen. Она предназначена для синтеза речи по тексту и быстрого клонирования голоса по аудиопримеру длительностью около трёх секунд; также её можно использовать как основу для дообучения других моделей. Модель поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Архитектура использует дискретную языковую модель с несколькими кодовыми книгами и токенизатор речи Qwen3-TTS-Tokenizer-12Hz. Заявлена потоковая и непотоковая генерация с низкой задержкой, а модель рассчитана на локальный запуск через пакет qwen-tts или vLLM-Omni. В README заявлена поддержка управления голосовыми характеристиками инструкциями для семейства Qwen3-TTS, но для варианта Base такая поддержка отдельно не отмечена. Модель принимает текст и аудио для клонирования голоса и выдаёт синтезированную речь. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Для запуска могут потребоваться значительные вычислительные ресурсы; README рекомендует FlashAttention 2 на совместимом оборудовании.

80июль 2026ctx131.1K
textaudioapache-2.0hugging-face
mlx-community
Qwen3-TTS-12Hz-1.7B-VoiceDesign-bf16

MLX-версия модели Qwen3-TTS-12Hz-1.7B-VoiceDesign, разработанная сообществом mlx-community и конвертированная из оригинальной модели Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign с помощью mlx-audio 0.3.0. Это модель синтеза речи, предназначенная для генерации аудио по текстовому описанию или тексту; в примере использования также предусмотрена передача эталонного аудиофайла, что указывает на поддержку сценариев проектирования или клонирования голоса. Модель рассчитана на работу в экосистеме MLX через библиотеку mlx-audio и может запускаться из командной строки или Python-кода. Из известных характеристик: размер модели составляет 1,7 млрд параметров, формат — bf16, а частота дискретизации или внутренний темп генерации обозначен как 12 Hz. README не содержит сведений о поддерживаемых языках, точной архитектуре, максимальной длине контекста, качестве генерации и ограничениях по аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0; для использования требуется установка mlx-audio.

6.5K16янв. 2026ctx131.1K
textaudioapache-2.0hugging-face
cstr
qwen3-tts-1.7b-base-GGUF

cstr/qwen3-tts-1.7b-base-GGUF — GGUF-конверсия модели Qwen3-TTS 12Hz 1.7B Base, разработанной Qwen. Репозиторий подготовлен для использования с C++/ggml-бэкендом CrispASR и содержит модель talker, предиктор кодов и энкодер говорящего; обучение, дообучение и изменение архитектуры не выполнялись. Модель предназначена для синтеза речи и клонирования голоса по паре «референсное аудио и его точная расшифровка», а также для работы с заранее подготовленными голосовыми пакетами GGUF. Поддерживаются китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Архитектура использует дискретную многокодековую языковую модель и отдельный токенизатор/аудиокодек с частотой 12 Гц. Размер модели составляет 1,7 млрд параметров; вариант имеет talker с hidden size 2048, ECAPA-энкодер с размерностью 2048 и дополнительный проекционный мост к предиктору кодов размерности 1024. Доступны версия F16 размером около 3,6 ГБ и рекомендуемая квантизированная версия Q8_0 размером около 1,9 ГБ. Для работы обязательно требуется отдельный GGUF-файл токенизатора/кодека. При использовании WAV-файла необходимо указать его точную текстовую расшифровку; более низкоразрядные варианты q6_k, q5_k и q4_k поддерживаются экспериментально и могут заметно отличаться от эталона F16. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

2.3K9май 2026
textaudioapache-2.0hugging-face
cstr
raon-opentts-0.3b-GGUF

Raon-OpenTTS 0.3B-GGUF — конвертированная в формат GGUF версия модели KRAFTON/Raon-OpenTTS-0.3B, подготовленная для использования с CrispASR. Это англоязычная система синтеза речи на архитектуре F5-TTS DiT с flow matching и клонированием голоса по образцу; в комплект входят вокодер HiFi-GAN с частотой дискретизации 16 кГц, mel-фильтр Slaney, окно Hann и словарь на 5555 символов. Диффузионный блок имеет размерность 1024 и 22 слоя. Модель предназначена для преобразования текста в речь и синтеза с голосом, заданным аудиозаписью и её расшифровкой. Репозиторий содержит единый GGUF-файл точности F16. Лицензия CC-BY-NC-4.0 разрешает использование только в некоммерческих целях с указанием авторства KRAFTON.

4330сент. 2026
textaudiocc-by-nc-4.0hugging-face
BHOSAI
SARA_TTS

SARA TTS — синтезатор речи, разработанный Центром исследований и разработок в области ИИ Бакинской высшей школы нефти совместно с PRODATA. Модель создана на основе VITS и дообучена на базе facebook/mms-tts для азербайджанского языка. Она принимает текст и генерирует непрерывную речь; для подготовки обучающих данных команда объединяла пары речи и текста из открытых источников в последовательности по несколько предложений. В карточке указано, что исходная MMS-модель хорошо передавала естественность речи, но чувствительно реагировала на входные токены: интонация могла меняться в зависимости от текста. Репозиторий содержит веса в формате safetensors и насчитывает 3,5 млн параметров. Модель распространяется по лицензии CC BY-SA 4.0.

3103июль 2024
textaudiocc-by-sa-4.0hugging-face
mlx-community
Spark-TTS-0.5B-bf16

Spark-TTS-0.5B-bf16 — версия модели Spark-TTS, конвертированная сообществом mlx-community в формат MLX из prince-canuma/Spark-TTS-0.5B. Это модель синтеза речи с архитектурой Qwen2ForCausalLM и примерно 506,6 млн параметров; для работы с ней README рекомендует библиотеку mlx-audio. Модель принимает текст и генерирует аудио; в метаданных указаны английский и китайский языки, а контекст составляет до 32 768 токенов. Репозиторий содержит веса safetensors. Модель предназначена для синтеза речи из текста в среде MLX. Лицензия CC BY-NC-SA 4.0 требует атрибуции, распространяет производные работы на тех же условиях и ограничивает коммерческое использование. Подробности о качестве речи и специальных ограничениях следует смотреть в карточке исходной модели.

1.6K4май 2025ctx32.8K
textcc-by-nc-sa-4.0hugging-face
kiran1254
speecht5_finetuned_emirhan_tr

Модель kiran1254/speecht5_finetuned_emirhan_tr — дообученная версия SpeechT5 от Microsoft для синтеза речи из текста. Она предназначена для преобразования текстового ввода в аудио; архитектура использует SpeechT5ForTextToSpeech, веса представлены в формате safetensors. Название модели указывает на возможную ориентацию на турецкий язык, но README не подтверждает язык или датасет обучения. Модель распространяется по лицензии MIT. Подробности об обучающих данных, оценке качества и ограничениях в карточке не раскрыты.

70июль 2026ctx600
textaudiomithugging-face
sjooaaoo2
speecht5_finetuned_voxpopuli_nl

sjooaaoo2/speecht5_finetuned_voxpopuli_nl — дообученная модель SpeechT5 для синтеза речи из текста. Она основана на microsoft/speecht5_tts и использует архитектуру SpeechT5ForTextToSpeech; веса опубликованы в формате safetensors. Название репозитория указывает на дообучение для нидерландского языка на VoxPopuli, однако README не подтверждает состав обучающих данных и подробности настройки. Модель предназначена для преобразования текстового ввода в аудио. В README приведено значение loss 0,5012 на оценочной выборке, но не описаны протокол оценки, качество речи, голосовые характеристики или ограничения. Лицензия — MIT.

510сент. 2026ctx600
textaudiomithugging-face
gigant
speecht5_finetuned_voxpopuli_ro_audio_course_v2

SpeechT5 Romanian — модель синтеза речи из текста, созданная дообучением microsoft/speecht5_tts на румынской части набора VoxPopuli. Она предназначена для преобразования румынского текста в речь; в карточке приведено значение loss 0,4508 на оценочной выборке. Модель основана на архитектуре SpeechT5 и распространяется в форматах PyTorch и Safetensors. Модель выпущена под лицензией MIT. Карточка не описывает голосовые характеристики, качество звучания и ограничения применения; результат оценки сам по себе не позволяет судить о разборчивости или естественности речи.

1030авг. 2023ctx600
textaudiomithugging-face
musiclang
text-chord-predictor

MusicLang text-chord-predictor — генеративная модель семейства MusicLang, разработанная Флорианом Гарденом для быстрого продолжения гармонической структуры песни. Она принимает последовательность аккордов в текстовой поп-нотации и предсказывает следующие аккорды; для лучшей работы в начале запроса рекомендуется токен START. Модель построена на архитектуре GPT-2, имеет контекст 4096 токенов и распространяется в формате safetensors. Модель подходит для создания и продолжения последовательностей аккордов, набросков гармоний и музыкальных идей. Она работает с мажорными, минорными, септаккордами, уменьшёнными и увеличенными аккордами, а также с обращениями, обозначенными через косую черту. Ограничения: модель не задаёт гармонический ритм, поддерживает ограниченный набор типов аккордов и требует, чтобы басовая нота обращения входила в аккорд; для некоторых аккордов нужно использовать энгармонический эквивалент. Лицензия разрешает бесплатное использование для исследований и проектов с открытым исходным кодом; коммерческое применение требует согласования с разработчиком.

2377февр. 2024ctx4.1K
texthugging-face
OEvortex
TTS-OLD

OEvortex/TTS-OLD — дообученная модель HelpingAI-TTS-v1 на архитектуре Parler-TTS, основанная на ai4bharat/indic-parler-tts. Она преобразует текст в речь и позволяет задавать желаемые характеристики звучания текстовым описанием: например, темп, эмоциональный тон и акцент. Модель предназначена для создания выразительной речи на нескольких языках, включая сценарии озвучивания с заданной манерой подачи. В карточке заявлена поддержка более 20 языков, среди них английский, ассамский, бенгальский, хинди, каннада, малаялам, маратхи, непали, санскрит, тамильский, телугу и урду. Архитектура — Parler-TTS для генерации речи по тексту и описанию звучания. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка не приводит подтверждённых оценок качества или подробных ограничений; заявленное качество следует проверять на целевых языках и голосовых сценариях.

218дек. 2024
textaudioapache-2.0hugging-face
Beehzod
uz_2301_tts

Beehzod/uz_2301_tts — дообученная модель SpeechT5 от Microsoft для синтеза речи из текста. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. В карточке приведён результат оценки: loss 0,4968; набор данных для дообучения и подробности оценки не описаны. Модель предназначена для преобразования текста в речь. Лицензия — MIT. Язык синтеза и характеристики голоса в доступных сведениях не установлены.

80янв. 2025ctx600
textaudiomithugging-face
cstr
vibevoice-1.5b-GGUF

cstr/vibevoice-1.5b-GGUF — это конвертированная в формат GGUF версия модели Microsoft VibeVoice-1.5B для синтеза речи, предназначенная для использования с CrispASR. Модель поддерживает клонирование голоса по аудиореференсу и многоговорящую генерацию речи, включая сценарии с участием до четырёх говорящих. В метаданных указана поддержка английского и китайского языков. Модель использует единую архитектуру на базе Qwen2.5-1.5B: языковую модель с 28 слоями, размерностью 1536, 12 головами внимания и 2 KV-головами, а также отдельные акустический и семантический энкодеры, prediction head и декодер на основе ConvNeXt. Генерация речевых токенов выполняется авторегрессионно, а диффузионное семплирование — с помощью DPM-Solver++ за 20 шагов. Доступны варианты F16 размером 5,1 ГБ, Q8_0 размером 3,1 ГБ и Q4_K размером 1,9 ГБ; в квантованных вариантах языковая основа сжата, а ключевые компоненты синтеза сохранены в полной точности. Для работы требуется WAV-файл с голосовым образцом в формате 24 кГц, моно. Это базовая, а не потоковая версия модели, поэтому она не предназначена для streaming-сценариев. Сильными сторонами являются клонирование голоса, многоговорящая генерация и наличие компактных квантованных вариантов с сохранением качества; ограничения включают необходимость аудиореференса и отсутствие потоковой генерации. Модель распространяется по лицензии MIT на тех же условиях, что и исходная модель Microsoft; репозиторий содержит только конвертацию и квантование весов без дополнительного обучения или изменения архитектуры.

1.2K3апр. 2026
textaudiomithugging-face
pnnbao-ump
VieNeu-TTS

VieNeu-TTS — вьетнамская модель синтеза речи с возможностью мгновенного клонирования голоса по образцу длительностью 3–5 секунд. Модель разработал Phạm Nguyễn Ngọc Bảo; версия VieNeu-TTS примерно на 0,5 млрд параметров дообучена на архитектуре NeuTTS Air. В репозитории указаны архитектура Qwen2 и веса в формате safetensors. Модель предназначена для локального синтеза речи на устройствах с CPU или GPU, а также для приложений, которым нужен синтез с заданным голосом. В карточке также описана отдельная версия VieNeu-TTS-0.3B, обученная с нуля и рассчитанная на более быстрое выполнение; её характеристики не следует переносить на эту версию. Для модели указана лицензия Apache-2.0.

1.0K80окт. 2025ctx32.8K
textapache-2.0hugging-face
reaksmeydev
VoxCPM2-khmer

VoxCPM2-khmer — многоязычная модель синтеза речи на основе openbmb/VoxCPM2. Автор карточки описывает репозиторий как копию и/или дообученную версию для создания пользовательского сервиса или приложения синтеза речи; метаданные классифицируют её как дообучение базовой модели. Модель принимает текст и генерирует речь с частотой дискретизации 48 кГц. Заявлены синтез речи на нескольких языках, создание голоса по текстовому описанию и клонирование голоса по образцу аудио. Указана лицензия Apache-2.0, допускающая личное и коммерческое применение с соблюдением условий лицензии и ограничений ответственного использования. Карточка не сообщает размер модели и длину контекста; в метаданных есть языковые теги, включая кхмерский, но он не входит в список card_languages.

120авг. 2026
textaudioapache-2.0hugging-face
mlx-community
Voxtral-4B-TTS-2603-mlx-4bit

Voxtral-4B-TTS-2603-mlx-4bit — это 4-битная версия мультиязычной модели преобразования текста в речь Voxtral-4B-TTS-2603, разработанной Mistral AI и адаптированной сообществом mlx-community для MLX. Модель содержит около 4 миллиардов параметров, занимает примерно 2,5 ГБ и предназначена для генерации речи из текста, в том числе на устройствах Apple Silicon через библиотеку mlx-audio. Модель поддерживает девять языков: английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, арабский и хинди. Доступно 20 предустановленных голосов, включая мужские и женские варианты для большинства языков. Генерируемое аудио имеет частоту дискретизации 24 кГц. На Apple Silicon 4-битная версия показывает коэффициент реального времени около 0,97 для коротких запросов и 0,74 для длинных, то есть способна работать быстрее реального времени. Сильные стороны модели — мультиязычность, набор готовых голосов, относительно небольшой размер и эффективное 4-битное представление, удобное для локального запуска. Ограничение заключается в том, что README не содержит подробностей об архитектуре, максимальной длине контекста, качестве синтеза, возможностях управления интонацией или совместимости с платформами, отличными от Apple Silicon и MLX. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства, но некоммерческое.

1.9K20март 2026ctx128K
textaudiocc-by-nc-4.0hugging-face
Vyvo
Vyvo-Multilingual-EN-FT-v0.1

Vyvo/Vyvo-Multilingual-EN-FT-v0.1 — дообученная компанией Vyvo модель синтеза английской речи с клонированием голоса. Она продолжает аудиопоследовательность как языковая модель: для генерации нужны короткий аудиореференс с расшифровкой и целевой текст. Модель рассчитана на один выразительный голос и английский язык. Модель основана на Vyvo/Vyvo-Multilingual-v0.1, использует плотную архитектуру Qwen3 с 574,8 млн параметров и аудиокодек kyutai/mimi с 32 кодовыми книгами и частотой 24 кГц. Контекст — до 40 960 токенов. Полное дообучение снизило WER английской речи для этого голоса относительно базовой модели; в оценке из карточки лучший результат получен при генерации нескольких вариантов с отбором по совпадению распознанного текста. Для работы требуется транскрипт референсного аудио: без него клонирование голоса не работает надёжно. Жадное декодирование может обрывать длинные фразы, а редкие имена иногда произносятся неверно. Модель распространяется по лицензии MIT.

121июнь 2026ctx41K
textmithugging-face
Vyvo
Vyvo-Multilingual-v0.1

Vyvo-Multilingual-v0.1 — многоязычная модель синтеза речи с клонированием голоса. Она принимает короткий образец голоса и целевой текст, а затем произносит текст голосом из образца. В качестве языковой основы используется Qwen3-0.6B; аудио представляется кодеком kyutai/mimi с 32 кодовыми книгами и частотой 24 кГц. Объём модели — 574,8 млн параметров, контекст — до 40 960 токенов. Модель предназначена для синтеза речи на английском и японском языках и переноса характеристик голоса по референсному аудиоклипу. Метаданные также указывают поддержку генерации текста. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

204июнь 2026ctx41K
textapache-2.0hugging-face
GeoffVdr
whisper-medium-nlcv11

GeoffVdr/whisper-medium-nlcv11 — дообученная модель распознавания речи на базе OpenAI Whisper Medium. Она обучена на обучающей и валидационной частях нидерландского набора Mozilla Common Voice 11.0 и предназначена для преобразования нидерландской речи в текст. Модель использует архитектуру WhisperForConditionalGeneration и содержит 455,8 млн параметров. Для оценки использовалась тестовая часть Common Voice 11.0 на нидерландском языке. Модель принимает аудио и выдаёт текст; карточка не сообщает метрики качества или подробные ограничения. Веса доступны в формате PyTorch по лицензии Apache-2.0.

115нояб. 2022ctx1K
textaudioapache-2.0hugging-face
xyntraistudios
xyntrai-csm-sesame-tts-nsfw

xyntrai-csm-sesame-tts-nsfw — дообученная модель семейства CSM, разработанная bmiller22000 на базе unsloth/csm-1b с использованием Unsloth и библиотеки TRL. Она предназначена для генерации речи из текста; карточка базовой модели указывает на генерацию английской речи с учётом аудиоконтекста. Модель имеет плотную архитектуру CsmForConditionalGeneration и около 977,3 млн параметров. Контекст составляет до 2048 токенов, веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

415авг. 2025ctx2K
textaudioapache-2.0hugging-face
eugenehp
zipvoice

ZipVoice — модель синтеза речи с текстовым энкодером и flow decoder, подготовленная в форматах ONNX и GGUF для RLX. Репозиторий eugenehp/zipvoice содержит конвертированную раскладку upstream-чекпойнта, включая компоненты энкодера, декодера и вокодера. Модель предназначена для преобразования текста в речь через runtime RLX; README отмечает, что это staging-сборка, а не основной runtime-пакет. Лицензия репозитория — Apache-2.0.

140июль 2026
textaudioapache-2.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей