/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
1 861–1 890 из 4 835
eugenehp
piper

eugenehp/piper — конвертированная для RLX версия голоса Piper en_US-lessac-medium. Репозиторий содержит исходную ONNX-модель, вариант GGUF F16 и разделённые подграфы RLX для синтеза речи из текста. Голос предназначен для озвучивания английского текста с произношением en-US; размер ONNX-файла составляет около 60,3 МиБ, GGUF F16 — около 58,7 МиБ. Для запуска предусмотрен пакет rlx-piper. Модель опубликована по лицензии MIT. README описывает репозиторий как staging-версию и предостерегает от использования этих файлов в качестве основного runtime-пакета RLX.

200июль 2026
textaudiomithugging-face
cstr
piper-voices-GGUF

cstr/piper-voices-GGUF — набор голосовых моделей Piper, преобразованных из исходных голосов rhasspy/piper в формат GGUF F16 для запуска в нативной среде CrispASR. Каждый голос хранится в отдельном файле, который включает карту фонем и голос espeak-ng, поэтому ему не нужны сопутствующие файлы. Это компактные односпикерные модели на архитектуре VITS для синтеза речи: размер отдельного голоса составляет примерно 15–60 МБ, вывод — монофонический звук 22,05 кГц. Набор подходит для мобильного использования и быстрого предварительного прослушивания; заявлена высокая скорость работы на CPU. В репозитории представлены немецкие и английские голоса, в том числе Thorsten и другие голоса с различными вариантами качества. Лицензия зависит от конкретного голоса: набор включает голоса с разрешающими условиями, включая CC0, общественное достояние, CC BY 4.0 и лицензию M-AILABS; для некоторых голосов требуется указание авторства или сохранение уведомления об авторских правах. Метаданные репозитория указывают CC BY 4.0, поэтому перед распространением результата следует сверять условия для выбранного голоса.

1.9K1май 2026
textaudiocc-by-4.0hugging-face
thenextgentechinsider
Sesame-1B-CSM-merged-16bit

Sesame-1B-CSM-merged-16bit — дообученная модель семейства CSM, опубликованная thenextgentechinsider и созданная на основе unsloth/csm-1b. Она преобразует текст в речь и может учитывать аудиоконтекст. Модель содержит 977,3 млн параметров, использует плотную архитектуру CsmForConditionalGeneration и файлы safetensors; размер контекста — 2048 токенов. Модель подходит для синтеза английской речи из текста в сценариях, где важен аудиоконтекст. Обучение выполнялось с использованием Unsloth и библиотеки Hugging Face TRL. Репозиторий распространяется по лицензии Apache-2.0.

180май 2025ctx2K
textaudioapache-2.0hugging-face
b1n1yam
shook-medium-amharic-2k

shook-medium-amharic-2k — модель распознавания речи на архитектуре Whisper, разработанная b1n1yam. Это плотная модель примерно на 455,8 млн параметров, предназначенная для преобразования аудио в текст. В README указано, что модель обучалась с нуля, а на оценочном наборе получила loss 0,0532 и WER 9,1091; обучающий набор данных не назван. Карточка не описывает языковой охват и сценарии применения подробнее, поэтому подтверждённую поддержку амхарского языка по имеющимся сведениям установить нельзя. Модель доступна в формате safetensors для библиотеки Transformers. Информация о лицензии отсутствует в предоставленных источниках.

2980дек. 2025ctx1K
textaudiohugging-face
SYNAPSEai1
SynapseMusicV12-Turbo-Continuous

Карточка модели SYNAPSEai1/SynapseMusicV12-Turbo-Continuous на Hugging Face совпадает с карточкой ACE-Step/acestep-5Hz-lm-0.6B, поэтому описание составлено по ней. ACE-Step v1.5 5Hz LM 0.6B — языковая модель для планирования и управления генерацией музыки в составе системы ACE-Step, разработанной проектом ACE-STEP. Она преобразует запросы пользователя в планы композиции, включая метаданные, тексты песен и описания, которые направляют отдельную диффузионную модель для создания музыки. Модель поддерживает генерацию композиций от коротких фрагментов до 10 минут, а также сценарии редактирования музыки в системе ACE-Step: создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 574,7 млн параметров. Она принимает текстовые запросы, а в рамках ACE-Step управляет созданием аудио; заявлена поддержка более 50 языков. Контекстное окно составляет 40 960 токенов. В карточке ACE-Step указаны возможности планирования композиции среднего уровня, понимания аудио среднего уровня и слабое копирование мелодии. Для генерации итогового музыкального аудио требуется взаимодействие с соответствующей DiT-моделью системы. Модель опубликована ACE-STEP под лицензией MIT. README заявляет коммерческую применимость сгенерированной музыки и запуск всей системы на потребительском оборудовании, однако скорость и требование менее 4 ГБ видеопамяти относятся к описанию системы ACE-Step в целом и могут зависеть от используемой DiT-модели и конфигурации.

231сент. 2026ctx32.8K
textaudiomithugging-face
btrkeks
transcoda-59M-zeroshot-v1

Transcoda 59M Zero-Shot v1 — компактная модель для распознавания нотной записи на изображениях партитур и её преобразования в символическую нотацию Humdrum `**kern`. Она построена как vision-encoder-decoder с энкодером ConvNeXt V2 Tiny, обученным на ImageNet-22K, и декодером для последовательностей текста. В карточке заявлено 59 млн параметров, тогда как метаданные указывают 30,9 млн; поэтому точный размер по доступным данным определить нельзя. Модель использует библиотеку Transformers и требует загрузки пользовательской архитектуры через `trust_remote_code=True`. Модель предназначена для оптического распознавания музыкальной нотации (OMR): на вход подаётся изображение одной страницы партитуры, на выходе получается транскрипция `**kern`. Обучение проводилось на синтетических изображениях, отрендеренных Verovio; README приводит результаты на синтетическом и реальном польском наборе данных и отмечает заметное ухудшение на исторических сканах. Для декодирования доступны жадный поиск, beam search и грамматически ограниченное декодирование; последнее требует кода проекта. Вход имеет фиксированную геометрию 1485 × 1050 пикселей, многостраничные документы нужно предварительно разбивать на страницы. Лицензия — CC BY 4.0.

2.0K0май 2026
textcc-by-4.0hugging-face
KasuleTrevor
wav2vec2-xls-r-300m-multilingual_filtered-yogera-v3

Это модель автоматического распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием, дообученная на основе KasuleTrevor/wav2vec2-xls-r-300m-nyn_filtered-yogera-v3. В репозитории указано 402,7 млн параметров и формат safetensors. Название модели указывает на многоязычную фильтрацию для Yogera, однако README не описывает языки и обучающие данные, поэтому языковую поддержку по этим сведениям установить нельзя. Модель предназначена для преобразования речи в текст. В карточке приведены результаты оценки: WER 0,6815 и CER 0,2155; они указывают на заметные ошибки распознавания и требуют осторожности при практическом применении. Условия лицензии в предоставленных данных не приведены.

110авг. 2024
textaudiohugging-face
efwkjn
whisper-ja-760M

efwkjn/whisper-ja-760M — японская дообученная версия Whisper, рассчитанная на распознавание речи в общих и аниме-сценариях. Модель содержит около 852 млн параметров и использует архитектуру WhisperForConditionalGeneration; принимает аудио и генерирует текстовую транскрипцию на японском языке. Модель дообучена от Whisper large-v3-turbo с сокращённым словарём токенов. Обучение проводилось на корпусе объёмом около 45 000 часов с аугментациями и настройкой смешивания данных для поддержки длинных записей и временных меток. По описанию автора, модель конкурентоспособна на тестовых наборах, лучше модели на 1,5 млрд параметров на коротких фрагментах, но уступает на длинных; качество распознавания текстов песен не проверено. Для faster-whisper требуется CTranslate2 версии 4.7.1 или новее из-за изменений словаря. В движках с жёстко заданным размером словаря может потребоваться дополнить token embedding. В README предложены инструкции использования openai/whisper-large-v3-turbo. Лицензия в предоставленных данных не указана.

4085июль 2026
textaudiohugging-face
sgangireddy
whisper-largev2-mls-dutch

Whisper largeV2 dutch MLS — дообученная модель распознавания речи на базе openai/whisper-large-v2, созданная для транскрибирования нидерландской речи. Она обучалась 4000 шагов на обучающей части набора facebook/multilingual_librispeech Dutch и использует архитектуру WhisperForConditionalGeneration с 905,2 млн параметров. Модель принимает аудио и выдаёт текст; в тесте MLS Dutch указана WER 10,5916, тогда как zero-shot версия базовой модели показала WER 9,3. Модель подходит для транскрибирования нидерландской речи, в том числе записей для оценки на MLS Dutch. Результат тестирования показывает, что это дообучение уступило базовой модели в zero-shot режиме, поэтому для этого набора данных его преимущество не подтверждено. Модель распространяется по лицензии Apache-2.0.

185дек. 2022ctx1K
textaudioapache-2.0hugging-face
kpriyanshu256
whisper-medium-as-200-32-1e-05-bn

Модель kpriyanshu256/whisper-medium-as-200-32-1e-05-bn — дообученная версия Whisper medium от OpenAI для автоматического распознавания речи. Она содержит 455,8 млн параметров и предназначена для преобразования аудио в текст; при дообучении использован Common Voice 11.0. Карточка приводит результат на оценочной выборке: WER 59,3214 и loss 1,1192. Модель принимает аудио и выдаёт текст. По названию карточки она связана с ассамским языком, однако README не подтверждает языковую область обучения, поэтому это назначение следует считать предположительным. Базовая Whisper medium — мультиязычная модель для распознавания и перевода речи, но для этой производной подтверждена только задача распознавания. Лицензия — Apache-2.0.

170дек. 2022ctx1K
textaudioapache-2.0hugging-face
mmarron14
whisper-medium-es-500-steps_removed_lengths_sin-proc-def5

Это дообученная версия Whisper Medium, созданная автором репозитория на основе openai/whisper-medium и обученная 500 шагов на испанской версии датасета Common Voice 17.0. Данные были приведены к частоте 16 кГц; текст не проходил дополнительную обработку. Модель предназначена для автоматической расшифровки испанской речи в текст. В README приведены результаты на оценочной выборке: WER 6,159 и WER Ortho 10,8189. Архитектура Whisper содержит 455,8 млн параметров; модель работает с аудиовходом и текстовым выводом. Используется библиотека Transformers, веса представлены в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает ограничения и дополнительные сценарии использования; качество за пределами указанного оценочного набора не установлено.

1390сент. 2026ctx1K
textaudioapache-2.0hugging-face
FL33TW00D-HF
whisper-tiny

Ratchet + Whisper Tiny — это конверсия модели openai/whisper-tiny из формата GGML в пользовательский формат Ratchet. Модель разработана на основе Whisper от OpenAI, а конверсию выполнил FL33TW00D-HF. README не содержит подробных сведений о назначении, архитектуре, размере, поддерживаемых языках, модальностях и длине контекста исходной модели. Известно только, что это вариант Whisper Tiny, предназначенный для использования в среде или инструментах, поддерживающих формат Ratchet; конкретные сценарии применения не уточнены. Модель распространяется по лицензии Apache-2.0. Сильной стороной является адаптация модели к формату Ratchet, однако ограничения и требования к аппаратному обеспечению в карточке модели не указаны.

5.6K7март 2024
textaudioapache-2.0hugging-face
wrice
whisper-tiny-grpo-0029b82-cv17-tiny-sft

Whisper Tiny GRPO — компактная модель распознавания речи, созданная wrice дообучением openai/whisper-tiny методом GRPO с наградой на основе ошибок слов и символов. Она преобразует аудиозаписи в текст и предназначена для транскрибации речи; обучение проводилось на данных Common Voice для 49 языковых локалей с фиксацией языка по локали аудиоклипа. На отложенной выборке Common Voice после нормализации текста лучшая общая оценка составила WER 0,472 и CER 0,175. Модель использует архитектуру Whisper и формат safetensors; для запуска доступен pipeline Transformers. Репозиторий распространяется по лицензии MIT. Это экспериментальный proof of concept, а не настроенная для промышленного применения система. Результаты на реальных записях зависят от предметной области, акцента, языка и качества аудио; метрики README получены на срезе Common Voice.

140июнь 2026ctx1K
textaudiomithugging-face
chmanoj
xls-r-2B-te

Модель chmanoj/xls-r-2B-te — дообученная версия facebook/wav2vec2-xls-r-2b для автоматического распознавания речи на датасете OPENSLR_SLR66 (NA). Архитектура основана на Wav2Vec2ForCTC; репозиторий содержит веса PyTorch и насчитывает 2,8 млрд параметров. Модель преобразует входящее аудио в текст и предназначена для распознавания речи в данных, похожих на обучающую выборку. В README для оценки указаны loss 0,4253 и WER 0,5109; сведений о языках, аудиоформатах и требованиях к использованию в карточке нет. Лицензия — Apache-2.0.

110март 2022
textaudioapache-2.0hugging-face
saheedniyi
YarnGPT2b

YarnGPT2b — дообученная модель Saheed Azeez для синтеза речи с нигерийским акцентом на английском, йоруба, игбо и хауса. Она основана на HuggingFaceTB/SmolLM2-360M и использует языковую модель для генерации речи; размер составляет 365,7 млн параметров, архитектура — плотная LlamaForCausalLM, формат весов — safetensors. Модель принимает текст и может генерировать аудио; в карточке также заявлено распознавание речи. Модель предназначена для озвучивания текста голосами с нигерийским акцентом, в том числе для новостного чтения. В README приведены идентификаторы голосов для четырёх языков и отмечено, что подсказка голосом улучшает работу и стабильность синтеза. Контекст модели — до 8192 токенов. Совместное обучение синтезу и распознаванию не дало заметного улучшения распознавания, поэтому качество ASR ограничено. Модель опубликована по лицензии Apache-2.0.

2435февр. 2025ctx8.2K
textapache-2.0hugging-face
FloatinggOnion
yoruba-cfm-dit

FloatinggOnion разработала модель синтеза речи на йоруба на основе Conditional Flow Matching и Diffusion Transformer (DiT). Она преобразует последовательности фонем йоруба в аудиолатенты, а декодер EnCodec 24 кГц восстанавливает из них звуковую волну. Для преобразования обычного текста в фонемы требуется библиотека YorubaG2P; можно также передать идентификаторы фонем напрямую. Архитектура включает 4-слойный текстовый Transformer, 10 блоков DiT с размерностью 512 и 8 головами внимания, а также декодер Meta EnCodec. При генерации метод Эйлера выполняет 24 шага. Модель обучена на данных йоруба и выпущена с лицензией Apache-2.0. Модель подходит для озвучивания текста на йоруба. Её ограничения включают небольшое разнообразие голосов из-за обучения на данных одного диктора, отсутствие явного управления длительностью и просодией, возможные артефакты декодирования и тишину или обрезание слишком коротких и длинных высказываний.

260май 2026
textaudioapache-2.0hugging-face
shreyask
bol-tts-marathi

shreyask/bol-tts-marathi — это дообученная модель синтеза речи на основе hexgrad/Kokoro-82M, разработанная для озвучивания текста на маратхи. Она использует архитектуру StyleTTS2 с декодером ISTFTNet, содержит 81,76 млн параметров и генерирует аудио с частотой дискретизации 24 кГц. Доступно 25 голосов, включая голоса, обученные на маратхи, и варианты голосов Kokoro. Модель предназначена для синтеза речи на маратхи, в том числе смешанного текста на маратхи и английском (Minglish). Для латинских английских слов в смешанном тексте README рекомендует предварительную транслитерацию в деванагари перед фонемизацией; доступны клиентская предобработка и таблица примерно из 19 500 соответствий. Модель построена на Kokoro-82M и дообучена с использованием данных AI4Bharat/Rasa, AI4Bharat/IndicVoices-R и SPRINGLab/IndicTTS-Marathi. Модель не подходит для предложений только на английском: декодер может произносить их с акустикой маратхи. Редкие английские заимствования могут не обрабатываться таблицей предобработки. Лицензия модели — Apache-2.0; лицензии и условия использования исходных датасетов различаются.

1460апр. 2026
textaudioapache-2.0hugging-face
BUT-FIT
DiCoW_v3_3

DiCoW v3.3 — модель распознавания речи целевого говорящего, разработанная командой BUT Speech@FIT. Она выделяет и транскрибирует речь выбранного человека в аудиозаписи с несколькими говорящими, используя результаты диаризации. Модель дообучена на базе Whisper large-v3-turbo и содержит около 905,2 млн параметров; для работы принимает 30-секундное аудио и четырёхканальную маску STNO. Поддерживает многоязычное распознавание речи. В версии 3.3 применяются послойные преобразования FDDT перед позиционными эмбеддингами, а обучение с шумовой инъекцией STNO и SpecAugment повышает устойчивость к неточной диаризации. Модель предназначена для транскрибирования выбранного участника встреч и смешанных записей с перекрывающейся речью. Репозиторий содержит веса в формате Safetensors и рассчитан на использование с Transformers; лицензия — CC BY 4.0. Качество результата зависит от точности диаризации и маски STNO. При перекрытии более двух говорящих модель может испытывать трудности с выделением целевого голоса.

8283янв. 2026
textaudiocc-by-4.0hugging-face
OpenASR
dolphin-cn-dialect-small

Dolphin CN-Dialect Small — модель автоматического распознавания речи от DataoceanAI, переупакованная проектом OpenASR в формат .oasr. Она предназначена для преобразования китайской речи в текст, особенно региональных вариантов китайского языка и речи с выраженным акцентом. Модель ориентирована на сценарии локальной транскрипции на CPU и GPU без Python во время инференса, включая работу с диалектной речью и смешанной речью с китайским языком. Модель построена по рецепту Dolphin и WeNet: использует энкодер E-Branchformer, Transformer-декодер и совместную objective CTC и attention с последующим attention rescoring. Это компактный checkpoint small.cn с посимвольным китайским словарём. Поддерживаются 22 китайских диалекта, включая сычуаньский, уский, кантонский, миньнаньский и шанхайский; заявлена также сохранённая эффективность для стандартного мандаринского языка. Доступны сборки fp16, q8_0 и q4_k размером примерно от 298 МБ до 860 МБ; fp16 рекомендована для максимального соответствия исходным результатам, а q4_k уменьшает размер ценой некоторого ухудшения CER. Контекстная длина и точные абсолютные метрики качества в карточке не указаны. Ограничением является отсутствие пунктуации: модель выдаёт обычный непунктуированный текст, поскольку обучающий корпус не содержал знаков препинания. Лицензия Apache-2.0 унаследована от исходной модели DataoceanAI1/dolphi-cn-dialect-small; OpenASR выполняет только конвертацию формата и квантование.

7190июль 2026
textaudioapache-2.0hugging-face
nineninesix
kani-tts-400m-ko

KaniTTS Korean — модель синтеза речи, разработанная авторами проекта KaniTTS. Она преобразует корейский текст в аудио и предназначена для разговорных помощников, чат-ботов, экранных дикторов и приложений для изучения языка. Модель построена на LFM2 и использует двухэтапную схему: языковая модель генерирует сжатые аудиотокены, затем нейрокодек синтезирует звуковую волну. В репозитории указано 460 млн параметров, контекст — 128 000 токенов, частота аудио — 22 кГц; метаданные указывают корейский язык. В тестах авторов на GPU RTX 5090 скорость составляла около пяти раз быстрее реального времени. Модель дообучена на nineninesix/kani-tts-400m-0.3-pt. README сообщает о лицензии Apache 2.0, тогда как метаданные Hugging Face обозначают лицензию как other, поэтому лицензионные условия следует сверить с файлами репозитория перед использованием. По данным README, качество снижается на входах длиннее 15 секунд, выразительность ограничена без дополнительной настройки, а просодия и произношение могут отражать смещения обучающих данных.

346окт. 2025ctx128K
textotherhugging-face
mahwizzzz
kani-tts-400m-ur

Kani-TTS-400M-UR — модель синтеза речи на урду, разработанная на основе Kani-TTS и дообученная на речевом наборе данных mahwizzzz/UAT. Она преобразует текст на урду в речь; карточка заявляет естественное, выразительное звучание. Модель использует плотную архитектуру LFM2 с причинной языковой моделью Lfm2ForCausalLM, содержит 460 млн параметров и имеет контекстное окно 128 000 токенов. Модель предназначена для озвучивания текста на урду и создания синтезированной речи. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. README не приводит оценок качества или дополнительных подробностей о голосах и настройках синтеза.

1352нояб. 2025ctx128K
textapache-2.0hugging-face
Luigi
matcha-zh-tw-en-8k-gguf

Luigi/matcha-zh-tw-en-8k-gguf — конверсия Matcha-TTS в формате GGUF для запуска через RapidSpeech.cpp. В комплект входят акустическая модель на основе CFM и вокодер Vocos; веса и токены совпадают с Luigi/matcha-zh-tw-en-8k. Размер файла составляет около 105 МБ, частота дискретизации — 8 кГц. Конверсия проверена сравнением тензоров с исходной ONNX-моделью. Модель синтезирует речь на тайваньском мандаринском и английском. Она рассчитана на CPU и ggml-CUDA, включая маломощные устройства вроде Jetson Nano; текстовый фронтенд, преобразующий текст в фонемы, предоставляется отдельно. Модель распространяется по лицензии Apache-2.0.

170июнь 2026
textaudioapache-2.0hugging-face
facebook
mms-tts-azb

facebook/mms-tts-azb — модель синтеза речи на южноазербайджанском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS, обученный для одного языка; в Transformers он поддерживается начиная с версии 4.33. Стохастический предсказатель длительности позволяет получать варианты ритма речи для одного текста, поэтому результаты могут различаться между запусками; фиксированное случайное зерно позволяет воспроизводить тот же результат. Модель можно применять для озвучивания текстового контента и создания речевого вывода на южноазербайджанском. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не коммерческое применение.

5973сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dhi

facebook/mms-tts-dhi — модель синтеза речи на языке дхимал, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на дхимал. Модель построена на архитектуре VITS: сочетает вариационный автоэнкодер, потоковый модуль, предсказывающий акустические признаки, и декодер на основе свёрточных слоёв; предсказатель длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS для дхимал, доступный через Transformers версии 4.33 и выше. Генерация недетерминирована: для повторяемого результата нужно фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4962сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dsh

facebook/mms-tts-dsh — модель синтеза речи на языке даасанах, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал; отдельный чекпойнт VITS обучен для этого языка. В метаданных указано 3,5 млн параметров, архитектура VITS, веса доступны в форматах PyTorch и Safetensors. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль и декодер на основе свёрточных слоёв; стохастический предсказатель длительности позволяет варьировать ритм речи. Модель предназначена для озвучивания текста на даасанах и доступна через Transformers версии 4.33 и новее. Из-за стохастического предсказателя повторная генерация может давать разные результаты; фиксированный seed нужен для воспроизводимого аудио. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-fij

facebook/mms-tts-fij — модель синтеза речи на фиджийском языке из проекта Massively Multilingual Speech, разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на фиджийском. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; модель работает с текстом на входе и генерирует аудио. Вариативный предсказатель длительности позволяет синтезировать разные ритмы речи, поэтому результат может меняться между запусками; для повторяемого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее и распространяется по лицензии CC BY-NC 4.0.

1480сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-hnn

facebook/mms-tts-hnn — модель синтеза речи на языке хануну, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и рассчитана на озвучивание текстов на хануну. Модель основана на архитектуре VITS — сквозном вариационном автоэнкодере с Transformer-энкодером текста, flow-модулем, декодером типа HiFi-GAN и стохастическим предсказателем длительности. Веса представлены в форматах PyTorch и Safetensors; число параметров — около 3,5 млн. Для одинакового результата при повторной генерации требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

4860сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kdh

facebook/mms-tts-kdh — модель синтеза речи на языке тем, разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на тем в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный контрольный пункт для одного языка из семейства MMS-TTS; использовать его можно через библиотеку Transformers версии 4.33 и новее. Генерация речи стохастическая: для повторения того же результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Описание не приводит оценок качества или подробностей о голосе и охвате диалектов.

1030сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-krc

facebook/mms-tts-krc — модель синтеза речи на карачаево-балкарском языке из проекта Massively Multilingual Speech компании Meta. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка в проекте обучен отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер, вариационный автоэнкодер, поточный модуль и декодер, основанный на HiFi-GAN. Размер — 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Генерация недетерминирована: для повторения результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства и ограничивает коммерческое применение.

4920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kum

facebook/mms-tts-kum — модель синтеза речи на кумыкском языке из проекта Massively Multilingual Speech, разработанного Facebook. Это отдельный чекпойнт VITS, обученный для одного языка; архитектура объединяет вариационный автоэнкодер, Transformer-энкодер текста, потоковый модуль, стохастический предсказатель длительности и декодер волновой формы, построенный по принципу HiFi-GAN. Модель принимает текст и генерирует речь; из-за стохастического предсказания длительности результат может меняться между запусками, а для воспроизводимого синтеза нужен фиксированный seed. Чекпойнт предназначен для преобразования кумыкского текста в речь и доступен через библиотеку Transformers версии 4.33 и новее. В репозитории указано 3,5 млн параметров; веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерческое.

5623сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей