I.9Аудио и музыка

AuK — базовая модель Tencent для генерации и редактирования речи с 1,5 млрд параметров. Она использует диффузионный трансформер и единый интерфейс инструкций на естественном языке. Для работы модели отдельно загружаются MLLM-энкодер Qwen2.5-Omni-3B и VAE. Модель предназначена для синтеза речи по тексту, в том числе zero-shot и по инструкциям, а также для редактирования речевого содержимого и акустических характеристик, улучшения речи и разделения источников. Вариант AuK-Flash — отдельная дистиллированная модель для быстрого вывода за четыре шага; этот репозиторий содержит базовую AuK. В метаданных указан формат safetensors и лицензия MIT. Данные не уточняют поддерживаемые естественные языки, длину контекста или ограничения качества; возможности модели зависят от внешних компонентов, загружаемых при запуске.

Demodokos Foundry Music v4 — семейство моделей для генерации музыки и разделения аудиодорожек на стемы, размещённое для приложения Demodokos Foundry. В карточке Hugging Face указана задача text-to-audio; файлы представлены в форматах GGUF и ONNX. Модель предназначена для создания музыки по текстовому описанию и разделения готовой музыки на отдельные компоненты. Её можно использовать для подготовки музыкальных фрагментов и работы с аудиодорожками в локальном творческом процессе. README описывает возможности семейства, но не приводит подробностей об архитектуре, размере модели или длине контекста. В README заявлена работа Foundry локально на Windows с GPU NVIDIA; эти требования относятся к приложению и не уточняют совместимость именно данного набора файлов модели. Лицензия в метаданных обозначена как other, конкретные условия использования не приведены.

Metis — открытая модель унифицированной генерации речи, разработанная командой Amphion. Она предварительно обучена методом masked generative modeling на 300 тысячах часов разнообразных речевых данных с использованием дискретных SSL-токенов, а также включает акустические токены для восстановления волновой формы. Модель адаптируют дообучением с условиями, соответствующими конкретным задачам. В карточке представлены базовая версия и специализированные варианты для выделения целевого говорящего, преобразования голоса, улучшения речи, генерации речи по движению губ и нескольких речевых задач. Для zero-shot синтеза речи README указывает на совместимую text2semantic-модель MaskGCT. Metis поддерживает мультимодальные входы в зависимости от варианта; опубликованные эксперименты охватывают пять задач генерации речи и сообщают о результатах выше специализированных и многозадачных систем при ограниченных данных и числе обучаемых параметров. Репозиторий использует формат safetensors и лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

mlx-community/sam-audio-large — преобразованная в формат MLX версия модели facebook/sam-audio-large, подготовленная сообществом mlx-community. Модель предназначена для обработки аудио, включая выделение голоса из звуковой записи. В карточке указано использование библиотеки mlx-audio; репозиторий содержит веса в формате safetensors. Карточка не приводит подробностей об архитектуре, размере, длине контекста или поддерживаемых языках, поэтому эти характеристики здесь не уточняются. Указана лицензия other; конкретные условия следует проверять в оригинальной карточке facebook/sam-audio-large.

SepFormer — модель шумоподавления речи, разработанная командой SpeechBrain и обученная на наборе WHAM! для аудио с частотой дискретизации 16 кГц. Она принимает зашумлённую речь и выдаёт очищенный аудиосигнал, помогая улучшать разборчивость записей с шумом и реверберацией. В тестах на WHAM! карточка сообщает SI-SNR 14,3 дБ; в таблице результатов для выпуска от 30 июня 2022 года приведены SI-SNR 13,8 дБ и PESQ 2,20. Модель реализована на PyTorch с архитектурой SepFormer, основанной на трансформерах. Обучающий набор WHAM! основан на WSJ0-Mix и включает шум окружающей среды и реверберацию; в описании набора указана исходная частота 8 кГц. Модель рассчитана на задачи улучшения англоязычной речи. Лицензия репозитория — Apache-2.0. Результаты на других наборах данных не гарантируются: качество обработки может отличаться от показателей на WHAM!.

SepFormer — модель разделения аудиоисточников, реализованная на базе SpeechBrain и обученная на наборе WHAMR! с частотой дискретизации 16 кГц. Она предназначена для разделения смешанной записи речи на отдельные источники, в том числе при наличии фонового шума и реверберации. На тестовой выборке WHAMR! указаны SI-SNRi 13,5 дБ и SDRi 13,0 дБ. Модель принимает одноканальные аудиозаписи с частотой 16 кГц и выдаёт разделённые аудиосигналы. Репозиторий содержит веса в формате PyTorch и инструменты для работы через SpeechBrain. Модель обучена на англоязычных данных WHAMR!; лицензия — Apache-2.0. Разработчик не гарантирует аналогичное качество на других наборах данных.

SheetSage2-GGUF — конвертированная в GGUF версия модели SheetSage2 от m-a-p, подготовленная для среды выполнения audio.cpp. Она предназначена для транскрибирования музыкального аудио в редактируемые партитуры и последовательности событий: мелодию, аккорды, доли, тональность и структуру композиции. В основе используется аудиобэкбон MERT-v2-FullSong; GGUF содержит объединённые с ним обновления LoRA и веса задач, поэтому отдельный чекпойнт бэкбона для инференса не нужен. Файл sheetsage2-orig.gguf хранит объединённую модель в FP32 и занимает около 2,71 ГБ. Проверка конвертации подтвердила совпадение тензоров с источниками; на двух песнях выходные токены и ABC-разметка совпали с результатами Python-реализации при одинаковой политике вычислений. Это конверсия существующей модели, а не новая или официальная upstream-версия. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

Stable Audio 3 Small Music — модель Stability AI для генерации музыки и редактирования аудио по текстовым описаниям. Это небольшая версия семейства Stable Audio 3, рассчитанная на запуск на потребительском оборудовании. Модель использует трансформерную архитектуру латентной диффузии и семантико-акустический автоэнкодер; для текстового обусловливания применяется предварительно обученная T5Gemma. Модель создаёт аудио переменной длительности, поддерживает продолжение коротких записей и целевое редактирование с помощью inpainting. Семейство обучалось на лицензированных записях и материалах Creative Commons. Для использования весов действует Stability AI Community License; T5Gemma распространяется на условиях Gemma Terms of Use. Подробности коммерческого использования зависят от условий этих лицензий.

Карточка модели SYNAPSEai1/SynapseMusicV12 на Hugging Face совпадает с карточкой ACE-Step/Ace-Step1.5, поэтому описание составлено по ней. ACE-Step 1.5 — открытая модель генерации музыки, разработанная командой ACE-Step. Она предназначена для создания песен и музыкальных фрагментов по текстовому запросу, с управлением стилем и поддержкой сценариев редактирования аудио: создания каверов, перерисовки фрагментов и преобразования вокала в фоновую музыку. В README заявлена гибридная архитектура: языковая модель планирует композицию и формирует метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Модель содержит 1,3 млрд параметров; метаданные указывают контекст в 32 768 токенов и формат Safetensors. README заявляет поддержку более 50 языков, генерацию композиций длительностью до 10 минут и работу менее чем с 4 ГБ видеопамяти. Модель ориентирована на музыкантов, продюсеров и создателей контента; README также заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. Заявления о скорости генерации, требованиях к памяти и юридической чистоте обучающих данных приведены в карточке проекта и не являются независимой оценкой качества или правового статуса конкретной генерации.

Карточка модели SYNAPSEai1/SynapseMusicV12-XL-Base на Hugging Face совпадает с карточкой ACE-Step/acestep-v15-xl-base, поэтому описание составлено по ней. ACE-Step 1.5 XL Base — базовая модель генерации музыки на основе декодера DiT с примерно 4 млрд параметров. Разработана проектом ACE-Step и служит основой для задач генерации музыки по текстовому описанию, создания каверов, перерисовки фрагментов, извлечения, сборки композиций из частей и дополнения аудио. Версия XL рассчитана на более высокое качество звука по сравнению с вариантами на 2 млрд параметров; модель использует 32 слоя, скрытый размер 2560 и 32 головы внимания. Модель предназначена для создания и редактирования музыкальных композиций. Для работы требуется значительный объём видеопамяти: от 12 ГБ с выгрузкой на CPU и INT8-квантизацией, от 16 ГБ с выгрузкой на CPU или от 20 ГБ без неё. README сообщает, что обучение использовало лицензированную, свободную от роялти или общественным достоянием музыку, а также синтетические данные, и заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT.

TIGER-speech-small — компактная модель разделения речи, разработанная исследователями Университета Цинхуа. Она принимает смешанную аудиозапись и разделяет перекрывающуюся речь на отдельные аудиосигналы, в том числе в условиях шума и реверберации. В архитектуре TIGER используются разделение частотных полос, многошкальное селективное внимание и внимание по полным частотным кадрам. Авторы описывают модель как эффективную по числу параметров и вычислительным затратам; в статье её оценивали на Libri2Mix, LRS2-2Mix и EchoSet. Модель предназначена для разделения речи нескольких говорящих в записях и акустических сценах. Карточка указывает английский язык, формат весов safetensors и лицензию Apache-2.0. В метаданных эта версия связана с базовой моделью JusperLee/TIGER-speech как дообученная; сведения о точном размере и длине контекста не приводятся.

Карточка модели fukem420/Ace-Step1.5 на Hugging Face совпадает с карточкой ACE-Step/Ace-Step1.5, поэтому описание составлено по ней. ACE-Step 1.5 — открытая модель генерации музыки, разработанная командой ACE-Step. Она предназначена для создания песен и музыкальных фрагментов по текстовому запросу, с управлением стилем и поддержкой сценариев редактирования аудио: создания каверов, перерисовки фрагментов и преобразования вокала в фоновую музыку. В README заявлена гибридная архитектура: языковая модель планирует композицию и формирует метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Модель содержит 1,3 млрд параметров; метаданные указывают контекст в 32 768 токенов и формат Safetensors. README заявляет поддержку более 50 языков, генерацию композиций длительностью до 10 минут и работу менее чем с 4 ГБ видеопамяти. Модель ориентирована на музыкантов, продюсеров и создателей контента; README также заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. Заявления о скорости генерации, требованиях к памяти и юридической чистоте обучающих данных приведены в карточке проекта и не являются независимой оценкой качества или правового статуса конкретной генерации.

Карточка модели puterijessica/Ace-Step1.5 на Hugging Face совпадает с карточкой ACE-Step/Ace-Step1.5, поэтому описание составлено по ней. ACE-Step 1.5 — открытая модель генерации музыки, разработанная командой ACE-Step. Она предназначена для создания песен и музыкальных фрагментов по текстовому запросу, с управлением стилем и поддержкой сценариев редактирования аудио: создания каверов, перерисовки фрагментов и преобразования вокала в фоновую музыку. В README заявлена гибридная архитектура: языковая модель планирует композицию и формирует метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Модель содержит 1,3 млрд параметров; метаданные указывают контекст в 32 768 токенов и формат Safetensors. README заявляет поддержку более 50 языков, генерацию композиций длительностью до 10 минут и работу менее чем с 4 ГБ видеопамяти. Модель ориентирована на музыкантов, продюсеров и создателей контента; README также заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. Заявления о скорости генерации, требованиях к памяти и юридической чистоте обучающих данных приведены в карточке проекта и не являются независимой оценкой качества или правового статуса конкретной генерации.

Карточка модели wmghf2023/ACE-Step-1.5-checkpoints-mirror на Hugging Face совпадает с карточкой ACE-Step/Ace-Step1.5, поэтому описание составлено по ней. ACE-Step 1.5 — открытая модель генерации музыки, разработанная командой ACE-Step. Она предназначена для создания песен и музыкальных фрагментов по текстовому запросу, с управлением стилем и поддержкой сценариев редактирования аудио: создания каверов, перерисовки фрагментов и преобразования вокала в фоновую музыку. В README заявлена гибридная архитектура: языковая модель планирует композицию и формирует метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Модель содержит 1,3 млрд параметров; метаданные указывают контекст в 32 768 токенов и формат Safetensors. README заявляет поддержку более 50 языков, генерацию композиций длительностью до 10 минут и работу менее чем с 4 ГБ видеопамяти. Модель ориентирована на музыкантов, продюсеров и создателей контента; README также заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. Заявления о скорости генерации, требованиях к памяти и юридической чистоте обучающих данных приведены в карточке проекта и не являются независимой оценкой качества или правового статуса конкретной генерации.

Карточка модели amandabenson/Ace-Step1.5-fork на Hugging Face совпадает с карточкой ACE-Step/Ace-Step1.5, поэтому описание составлено по ней. ACE-Step 1.5 — открытая модель генерации музыки, разработанная командой ACE-Step. Она предназначена для создания песен и музыкальных фрагментов по текстовому запросу, с управлением стилем и поддержкой сценариев редактирования аудио: создания каверов, перерисовки фрагментов и преобразования вокала в фоновую музыку. В README заявлена гибридная архитектура: языковая модель планирует композицию и формирует метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Модель содержит 1,3 млрд параметров; метаданные указывают контекст в 32 768 токенов и формат Safetensors. README заявляет поддержку более 50 языков, генерацию композиций длительностью до 10 минут и работу менее чем с 4 ГБ видеопамяти. Модель ориентирована на музыкантов, продюсеров и создателей контента; README также заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. Заявления о скорости генерации, требованиях к памяти и юридической чистоте обучающих данных приведены в карточке проекта и не являются независимой оценкой качества или правового статуса конкретной генерации.

Карточка модели Tuananh20015/acestep-v15-xl-base на Hugging Face совпадает с карточкой ACE-Step/acestep-v15-xl-base, поэтому описание составлено по ней. ACE-Step 1.5 XL Base — базовая модель генерации музыки на основе декодера DiT с примерно 4 млрд параметров. Разработана проектом ACE-Step и служит основой для задач генерации музыки по текстовому описанию, создания каверов, перерисовки фрагментов, извлечения, сборки композиций из частей и дополнения аудио. Версия XL рассчитана на более высокое качество звука по сравнению с вариантами на 2 млрд параметров; модель использует 32 слоя, скрытый размер 2560 и 32 головы внимания. Модель предназначена для создания и редактирования музыкальных композиций. Для работы требуется значительный объём видеопамяти: от 12 ГБ с выгрузкой на CPU и INT8-квантизацией, от 16 ГБ с выгрузкой на CPU или от 20 ГБ без неё. README сообщает, что обучение использовало лицензированную, свободную от роялти или общественным достоянием музыку, а также синтетические данные, и заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT.

AuK-Base-and-Flash-GGUF — это набор моделей AuK в формате GGUF для запуска через audio.cpp. Базовая модель разработана Tencent, а данный пакет подготовлен для использования с реализацией audio.cpp; отдельно включён дистиллированный вариант AuK-Flash. Для работы используются генератор AuK, компонент Qwen2.5-Omni-3B и VAE, причём базовый и Flash-варианты выбираются отдельно. Модель предназначена для синтеза речи, включая zero-shot TTS с референсным голосом и instruction-guided TTS, а также для клонирования и управления характеристиками голоса. Она поддерживает редактирование речевого содержания, текста песен, высоты тона, скорости, громкости, эмоций и тембра, преобразование акцентированной речи и шёпота, добавление невербальных звуков, улучшение речи, разделение речи и музыки и извлечение целевого говорящего. В заявленной проверке результаты C++-реализации совпали с эталонными результатами Python с очень высокой косинусной близостью; тестовые WAV-файлы имели частоту 24 кГц. Для запуска необходимы audio.cpp и сохранённые рядом каталоги config и tokenizer. Доступны файлы с разной точностью и квантованием, однако для полной проверки паритета использовался FP32, а квантованные комбинации компонентов не прошли такую же валидацию. README не указывает архитектуру, максимальную длину контекста или перечень поддерживаемых языков. Результаты проверки характеризуют совпадение реализаций, но не гарантируют соответствие субъективным требованиям к качеству аудио. Лицензия — MIT.

ConvTasNet_WHAMR_enhsingle_16k — модель разделения и улучшения аудио, дообученная М. Каном Келесом на варианте WHAMR! с речью из аудиокниг и искусственно добавленной реверберацией. Она обучалась для задачи enh_single и предназначена для очистки одиночной речевой записи, в том числе с реверберацией. Модель использует архитектуру ConvTasNet и библиотеку Asteroid; веса представлены в формате PyTorch. В карточке приведены метрики качества на тестировании, включая SI-SDR 12,98 и STOI 0,92. Модель распространяется по лицензии CC BY-SA 4.0. Параметры и ограничения применения за пределами описанного сценария в карточке не уточнены.

Dasheng-AudioGen — унифицированная модель генерации аудио по тексту. Она создана разработчиком mispeech и предназначена для синтеза разборчивой речи, музыки, звуковых эффектов и окружающих акустических сцен по текстовым описаниям. Модель относится к семейству Dasheng-AudioGen, использует плотную архитектуру и доступна в формате safetensors; для работы указана библиотека Transformers. Модель поддерживает английский язык и принимает текст, выдавая аудио. Репозиторий распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели, длину контекста и подробности о качестве генерации.

PASE — генеративная модель улучшения речи, разработанная Cisco Systems. Она очищает речь от шума и реверберации, стараясь сохранить разборчивость, содержание и особенности голоса говорящего. Модель рассчитана на монофонический звук с частотой 16 кГц. Архитектура объединяет DeWavLM, дообученную для подавления шума версию WavLM-Large с дистилляцией представлений, и двухпоточный вокодер, который восстанавливает аудио по фонетическим и акустическим признакам. Размер модели — около 382 млн параметров; вычислительная стоимость инференса — около 21,4 GMAC/s. Модель обучалась преимущественно на английской речи с шумами и реверберацией, синтезированными из перечисленных в карточке наборов данных. PASE предназначена для очистки записей разговоров и других речевых сигналов в шумной или реверберирующей среде. В тестах авторов модель показала низкий WER, высокую близость голоса к исходному и хорошее качество звучания; результаты релизной версии были близки к опубликованным в статье. Репозиторий распространяется по лицензии Apache 2.0. Качество может снижаться для языков, отличных от английского, при очень сильном шуме или реверберации, отличающейся от обучающих условий; возможны артефакты, а сохранение характеристик голоса не гарантируется. Модель не предназначена для обработки неречевого аудио, преобразования голоса или критически важных медицинских, юридических и безопасностных решений.

Pop2Piano — модель Jongho Choi и Kyogu Lee для создания фортепианных аранжировок поп-музыки по аудиозаписи. Она принимает аудиоволну и генерирует последовательность токенов, которые декодируются в MIDI с указанием времени, громкости и нот. Модель использует архитектуру encoder-decoder Transformer на основе T5 и содержит 23,2 млн параметров. Она предназначена для преобразования поп-композиций в партии для фортепиано без отдельных модулей извлечения мелодии и аккордов. Основным материалом обучения был корейский поп; модель также показывает хорошие результаты на западной поп-музыке и хип-хопе. Для загрузки аудио рекомендуется частота дискретизации 44,1 кГц. Для работы нужны библиотека Transformers и дополнительные аудиоинструменты. В предоставленной карточке лицензия не указана. Качество результата зависит от входной записи и может различаться для жанров, отличающихся от поп-музыки.

SepFormer — модель разделения аудио, разработанная командой SpeechBrain и обученная на наборе WHAMR!, созданном на основе WSJ0-Mix с добавлением фонового шума и реверберации. Она разделяет смешанную запись на отдельные речевые источники и предназначена для обработки речи, записанной в шумной или акустически сложной среде. Модель реализована на архитектуре SepFormer с использованием PyTorch. На тестовом наборе WHAMR! она показала SI-SNRi 13,7 дБ и SDRi 12,7 дБ. Для работы ожидает одноканальную запись с частотой дискретизации 8 кГц; аудио с другой частотой перед обработкой нужно пересчитать. Репозиторий распространяется по лицензии Apache-2.0. Разработчики не гарантируют сохранение качества на наборах данных и условиях, отличающихся от WHAMR!, поэтому результаты на других записях могут различаться.

TIGER-speech-tiny — компактная версия модели TIGER для разделения смешанной речи на отдельные аудиосигналы. Её разработали исследователи Университета Цинхуа; работа представлена на ICLR 2025. Модель предназначена для обработки записей с перекрывающейся речью, в том числе в условиях шума и реверберации. Архитектура TIGER использует разделение частотных полос, многошаговое моделирование и внимание по временным и частотным измерениям. Авторы сообщают о высокой скорости и качестве разделения при существенно меньших вычислительных затратах по сравнению с TF-GridNet на EchoSet. Репозиторий содержит веса в формате safetensors; модель основана на JusperLee/TIGER-speech и помечена как англоязычная. Лицензия — Apache-2.0.

Это официальный чекпойнт ACE-Step v1.5 XL Turbo в формате Diffusers, подготовленный разработчиками ACE-Step. Модель предназначена для генерации музыки по текстовому описанию и загружается как единый конвейер через AceStepPipeline из Diffusers. В основе — 5-миллиардная flow-matching DiT с 32 слоями, 32 головами и размером скрытого состояния 2560; размер представлений энкодера условий — 2048. Чекпойнт ACE-Step v1.5 XL Turbo прошёл дистилляцию с guidance и генерирует музыку за 8 шагов. Репозиторий содержит веса в формате Diffusers и SafeTensors; лицензия — MIT.

Карточка модели Tuananh20015/acestep-v15-xl-turbo-diffusers на Hugging Face совпадает с карточкой ACE-Step/acestep-v15-xl-turbo-diffusers, поэтому описание составлено по ней. Это официальный чекпойнт ACE-Step v1.5 XL Turbo в формате Diffusers, подготовленный разработчиками ACE-Step. Модель предназначена для генерации музыки по текстовому описанию и загружается как единый конвейер через AceStepPipeline из Diffusers. В основе — 5-миллиардная flow-matching DiT с 32 слоями, 32 головами и размером скрытого состояния 2560; размер представлений энкодера условий — 2048. Чекпойнт ACE-Step v1.5 XL Turbo прошёл дистилляцию с guidance и генерирует музыку за 8 шагов. Репозиторий содержит веса в формате Diffusers и SafeTensors; лицензия — MIT.

Карточка модели Giggle-Loot/Applio на Hugging Face совпадает с карточкой IAHispano/Applio, поэтому описание составлено по ней. Applio — инструмент преобразования голоса, ориентированный на простоту использования, качество и производительность. Он предназначен для изменения звучания входной речи в творческих, разработческих и исследовательских проектах; гибкая настройка и плагины позволяют адаптировать его к разным сценариям. В карточке Hugging Face указаны связь с VoiceConversionWebUI и поддержка обработки аудио в аудио. Репозиторий содержит варианты ONNX и PyTorch; среди используемых публичных данных назван VCTK. Модель подходит для преобразования голоса в аудиозаписях. README не сообщает конкретные архитектурные размеры или ограничения по длительности аудио. Указана лицензия MIT; при использовании необходимо соблюдать авторские права, права на голос и приватность, а также применимое законодательство.

Applio — инструмент преобразования голоса, ориентированный на простоту использования, качество и производительность. Он предназначен для изменения звучания входной речи в творческих, разработческих и исследовательских проектах; гибкая настройка и плагины позволяют адаптировать его к разным сценариям. В карточке Hugging Face указаны связь с VoiceConversionWebUI и поддержка обработки аудио в аудио. Репозиторий содержит варианты ONNX и PyTorch; среди используемых публичных данных назван VCTK. Модель подходит для преобразования голоса в аудиозаписях. README не сообщает конкретные архитектурные размеры или ограничения по длительности аудио. Указана лицензия MIT; при использовании необходимо соблюдать авторские права, права на голос и приватность, а также применимое законодательство.

Auffusion-Full-no-adapter — модель латентной диффузии для генерации аудио по текстовому описанию. Она создана командой Auffusion на основе подходов и компонентов, обычно применяемых в моделях преобразования текста в изображение, и предназначена для создания звуков людей и животных, природных и искусственных звуков, а также звуковых эффектов. Вариант Full-no-adapter предварительно обучен на всех наборах данных, описанных в статье, и рассчитан на удобное применение для манипуляции аудио. Модель использует формат Diffusers/PyTorch и совместима с конвейерами Stable Diffusion, включая генерацию, преобразование и заполнение изображений, адаптированные для работы с аудио. В карточке указана лицензия CC BY-NC-SA 4.0. README сообщает о сравнительных оценках с предыдущими подходами, однако не приводит здесь численных результатов или подробных ограничений; также не указаны размер модели и длина контекста.

BigVGAN-v2 — нейросетевой вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Эта версия преобразует входную мел-спектрограмму в синтезированную звуковую волну и предназначена для генерации аудио, например восстановления речи или других звуков по спектральным признакам. Модель содержит 112 млн параметров, использует 100 мел-полос, частоту дискретизации 24 кГц и коэффициент передискретизации 256×. Она обучена на крупной компиляции аудиоданных, включающей речь на разных языках, окружающие звуки и музыкальные инструменты. В README также описано ускорение инференса с помощью CUDA-ядра; для него требуются CUDA и совместимая версия PyTorch. Лицензия — MIT.

ConvTasNet для разделения двух одновременно звучащих голосов, обученная Joris Cosentino с помощью рецепта LibriMix в Asteroid на задаче sep_clean датасета Libri2Mix. Модель принимает аудио с частотой дискретизации 16 кГц и формирует отдельные аудиодорожки для двух источников. Архитектура ConvTasNet использует обучаемый фильтробанк и масочную сеть; обучающие сегменты имели длину 3 секунды. Модель предназначена для разделения чистых речевых смесей, похожих на данные Libri2Mix. Карточка приводит результат на тестовом наборе Libri2Mix, но численное значение результата недоступно в представленном тексте. Модель распространяется по лицензии CC BY-SA 3.0 Unported; в обучении использовался корпус LibriSpeech, лицензированный CC BY 4.0.