I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейDasheng Denoiser — модель для улучшения речи, связанная с работой Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders, представленной на Interspeech 2025. Репозиторий предоставляет официальный код инференса PyTorch; модель также доступна через Transformers. Модель принимает аудио и предназначена для подавления шума и повышения разборчивости речи в аудиозаписях. В README не приведены сведения о размере, контекстном окне и поддерживаемых языках. Репозиторий распространяется по лицензии Apache-2.0.
sam-audio-large-fp16 — версия модели facebook/sam-audio-large, преобразованная в формат MLX сообществом mlx-community с помощью mlx-audio 0.2.10. Она предназначена для обработки аудио и выделения голоса из звуковой записи. Модель принимает аудио и выдаёт обработанное аудио; карточка показывает сценарий voice isolation. Репозиторий содержит веса safetensors и использует библиотеку mlx-audio. Лицензия указана как other; условия исходной модели следует уточнять в её карточке.
SAWT V4 — модель восстановления речи, разработанная Quran-Lab при Университете Копенгагена. Она очищает аудиозаписи от реверберации, шума, гула, ограниченной полосы частот и повреждений кодека, сохраняя исходные слова и голос. Модель предназначена для реставрации архивных записей, телефонной речи и записей из помещений с сильным эхом. Архитектура сочетает латентный генератор на основе flow matching с замороженным аудиокодеком DAC-VAE и детерминированным покадровым якорем, который задаёт содержание, высоту тона, характеристики говорящего и начальную оценку чистого сигнала. Выходное аудио имеет частоту 48 кГц. В README заявлена поддержка обучения на речи и пении примерно на 35 языках; метаданные указывают многоязычность и перечисляют ряд языковых тегов. Проверки на выходе отслеживают сохранность содержания и голоса, однако приведённые оценки относятся к описанным авторами наборам и протоколам. Модель распространяется с весами и якорем по лицензии с ограничениями: README запрещает продажу модели и функций на её основе и требует атрибуции. Перед использованием следует проверить полный текст лицензии и условия распространения.
Stable Audio 3 Medium — модель семейства Stable Audio 3, разработанная Stability AI для генерации и редактирования аудио по текстовым описаниям. Это модель латентной диффузии на основе трансформера, использующая семантико-акустический автоэнкодер и текстовое кондиционирование с помощью предварительно обученной T5Gemma. Модель поддерживает генерацию аудио переменной длительности, продолжение коротких записей и локальное редактирование аудио методом inpainting. Модель предназначена для создания музыки и звуковых эффектов; веса Medium рассчитаны в том числе на запуск на потребительском оборудовании. Разработчик сообщает о генерации за секунды на H200 и MacBook Pro M4. В обучении использованы лицензированные записи AudioSparx и материалы Freesound с лицензиями CC-0, CC-BY и CC-Sampling+. Модель ориентирована на английские текстовые запросы. Для использования действуют Stability AI Community License и условия Gemma Terms of Use для T5Gemma; коммерческое применение требует обращения к Stability AI за коммерческой лицензией.
dots.tts.edit — авторегрессионная модель непрерывной генерации от dots.tts, предназначенная для точного редактирования речи по инструкциям и синтеза речи с нуля. Она принимает исходное аудио и инструкцию для редактирования: заменяет, добавляет или удаляет фрагменты текста, управляет эмоцией, высотой тона, темпом и паузами, улучшает речь и выполняет операции с фоновым звуком. При редактировании модель стремится сохранить голос диктора и акустический контекст вне изменяемых участков. Модель поддерживает английскую и мандаринскую речь, а результат синтеза выдаёт в формате 48 кГц. Основные веса имеют точность BF16, веса энкодера диктора и вокодера — FP32. Тот же чекпойнт поддерживает zero-shot синтез речи. В README отмечены возможные ошибки произношения, тайминга, сходства голоса и следования инструкциям. Лицензия указана как other; условия её использования следует уточнять у разработчика. Модель нельзя использовать для имитации людей без согласия, введения слушателей в заблуждение или незаконного контента.
MetricGAN+ VoiceBank — модель SpeechBrain для улучшения речи в аудиозаписях с шумом. Она принимает зашумлённое аудио и выдаёт очищенное; обучена на данных Voicebank и DEMAND и предназначена для запуска через библиотеку SpeechBrain. В карточке приведены результаты на тестовом наборе: PESQ 3,15 и STOI 93,0. Модель подходит для очистки речи перед прослушиванием или дальнейшей обработкой. Для других наборов данных качество не гарантируется. Репозиторий распространяется по лицензии Apache-2.0.
Stable Audio 3 Medium — модель Stability AI для генерации и редактирования аудио по текстовому описанию. Она предназначена для создания музыки и звуковых эффектов, в том числе аудио переменной длительности, продолжения коротких записей и локального редактирования с помощью inpainting. Модель использует латентную диффузию на базе трансформера и семантико-акустический автоэнкодер для компактного представления аудио. По заявлению разработчиков, adversarial post-training сокращает число шагов инференса и повышает точность следования запросу. Модель рассчитана на английские текстовые описания; карточка указывает, что веса обучались на лицензированных и Creative Commons аудиозаписях. Для использования доступны библиотека stable-audio-3 и исследовательская библиотека stable-audio-tools. Репозиторий содержит safetensors и является дообучением stabilityai/stable-audio-3-medium-base. Указана Stability AI Community License; для коммерческого использования разработчики предлагают обратиться к отдельным условиям коммерческой лицензии. Модель принимает текст, а при редактировании также использует аудио; основной заявленный сценарий генерации — текст в аудио.
AudioSep-hive — модель универсального разделения звуков по запросу, разработанная Shanda AI Research Tokyo и обученная на наборе данных ShandaAI/Hive. Она отделяет заданный звук от сложной аудиосмеси по текстовому описанию или аудиозапросу; текстовые запросы поддерживаются на английском языке. Модель представлена в исследовательской работе о семантически согласованном наборе данных для разделения звука с эффективным использованием данных. По заявлению разработчиков, обучение использовало 2 442 часа исходного аудио и 19,6 млн смесей — около 0,2% объёма данных, применяемого в сопоставимых подходах. Модель нацелена на конкурентное качество разделения и восприятия звука; в репозитории представлены веса PyTorch. Лицензия — Apache 2.0.
Resemble-Enhance-GGUF — неофициальная конверсия модели Resemble Enhance от Resemble AI в формат GGUF F16 для локального инференса в совместимых с GGML/GGUF средах. Это не новая обученная модель: в репозитории размещён файл с полной версией модели улучшения речи, а исходные проект и веса опубликованы Resemble AI. Модель предназначена для улучшения речи и подавления шума в аудиозаписях. Поддержка функций зависит от используемого рантайма. Репозиторий указывает лицензию MIT для исходного проекта и конверсии; распространение неофициальное.
AEmotionStudio распространяет веса Meta AI SAM-Audio в формате BF16 Safetensors. В репозитории представлены варианты Large-TV и Base-TV: в README указано около 3,72 млрд и 1,93 млрд параметров соответственно. Это модели разделения аудио, предназначенные для выделения заданных звуков из сложных аудиосмесей. Для задания цели можно описать звук текстом, указать объект на видео или задать временной интервал; варианты TV оптимизированы для точности выделения цели и визуальных подсказок. Модель принимает аудио и возвращает отделённое аудио. Лицензия указана как SAM License, а метаданные обозначают её как other; перед использованием следует свериться с условиями SAM License. Репозиторий описывает преобразование весов в BF16 Safetensors для упрощения доступа и распространения.
SepFormer-DNS4-16k — модель SpeechBrain для подавления шума и улучшения разборчивости речи в аудио. SepFormer основана на архитектуре Transformer и обучена на 1300 часах данных Microsoft DNS-4 с частотой дискретизации 16 кГц. Модель принимает зашумлённую речь и выдаёт очищенное аудио. В README приведены результаты оценки DNSMOS на dev-наборе DNS4 2022: SIG 2,999, BAK 3,076 и OVRL 2,437 по шкале от 1 до 5. В метаданных указана поддержка английского, немецкого, русского, французского, итальянского и испанского языков. Модель подходит для очистки записей речи и шумоподавления в аудиосистемах. SpeechBrain предупреждает, что качество на других наборах данных не гарантируется. Лицензия — Apache-2.0.
Silero VAD MLX — модель обнаружения речевой активности, преобразованная сообществом mlx-community из onnx-community/silero-vad в формат MLX. Она принимает аудиофайл и возвращает временные отметки речевых фрагментов, в том числе в секундах. Модель предназначена для выделения речи в аудиозаписях и может использоваться как этап предварительной обработки аудио.
Это конвертированная в формат Vokra GGUF версия модели Silero VAD v6.2.1 от upstream-разработчика snakers4. Она предназначена для определения участков речи в аудиозаписи и запускается в среде инференса Vokra, которая поддерживает отображение весов в память. Для работы модели требуется монофонический WAV с частотой дискретизации 16 кГц; результатом являются обнаруженные речевые сегменты. Файл весит 2,1 МБ, архитектура обозначена как silero-vad. Конверсия сохраняет исходные веса и не является новым дообучением. Лицензия — MIT.
Clear — модель для локального улучшения речи от desert-ant-labs. Она подавляет шум, уменьшает реверберацию и нормализует громкость, чтобы очистить записи с микрофонов телефона, гарнитуры или ноутбука, в том числе сделанные в кафе, офисе или необработанной комнате. Модель предназначена для подкастов, видео, голосовых приложений, интервью и записей встреч. В репозитории представлены варианты clear-studio и clear-natural в форматах Core ML, ONNX и TFLite. Вариант studio стремится к тихому, чистому звучанию, а natural сохраняет часть комнатного фона, дыхания и артикуляционных деталей. Обработка выполняется на устройстве; для Core ML заявлена оптимизация под Apple Neural Engine. Модель принимает моно- или стереозвук с частотой 48 кГц и выдаёт очищенный звук. Clear ориентирована именно на речь: музыка, эффекты и другие невокальные сигналы могут подавляться как шум, а перекрывающиеся голоса не разделяются. Это не модель распознавания речи, синтеза или изменения голоса. В README приведены условия совместимости SDK для платформ Apple и варианты для Android; лицензия указана в метаданных как other, без дополнительных условий в предоставленных данных.
Это модель разделения аудио ConvTasNet, обученная Мануэлем Париенте по рецепту Asteroid для задачи sep_clean на наборе WHAM!. Она предназначена для разделения смеси речи на отдельные речевые источники и обработки аудиозаписей с несколькими говорящими. Модель принимает аудио и выдаёт аудио. В README приведены результаты оценки на WHAM!, включая SI-SDR 16,21 и STOI 0,962. Весовой файл опубликован в формате PyTorch; лицензия — CC BY-SA 4.0.
SepFormer для подавления шума в речи разработан командой SpeechBrain и обучен на датасете WHAM! с частотой дискретизации 8 кГц. WHAM! добавляет к смесям WSJ0-Mix окружающий шум и реверберацию. Модель принимает аудио и выдаёт очищенное аудио, помогая улучшить разборчивость речи в шумных записях. В репозитории указаны результаты на тестовом наборе WHAM!: SI-SNR 14,35 дБ и PESQ 3,07. Модель реализована на PyTorch и предназначена для применения через SpeechBrain. Разработчики не гарантируют аналогичное качество на других наборах данных. Лицензия — Apache-2.0.
Stable Audio 3 Small Music — небольшая модель семейства Stable Audio 3, разработанная Stability AI для генерации и редактирования музыки и звуков по текстовому описанию. Это латентная диффузионная модель на основе трансформера: она использует семантико-акустический автоэнкодер для сжатого представления аудио и текстовое кондиционирование на основе предварительно обученной T5Gemma. Поддерживаются генерация аудио переменной длительности, продолжение коротких записей и локальное редактирование аудио с помощью inpainting. Модель обучалась на лицензированных и Creative Commons записях. Семейство Stable Audio 3 оптимизировано для быстрой генерации; разработчики сообщают о времени менее двух секунд на H200 для семейства в целом. Версия Small предназначена для запуска на потребительском оборудовании. Основной язык текстовых описаний — английский. Для использования доступны библиотеки stable-audio-3 и stable-audio-tools. Модель является дообучением stabilityai/stable-audio-3-small-music-base. В карточке указана Stability AI Community License, а текстовое кондиционирование опирается на T5Gemma, распространяемую по условиям Gemma Terms of Use; коммерческое применение требует проверки применимых условий лицензий.
UNISON — разработанная авторами проекта единая модель для генерации и редактирования аудио и речи. Она поддерживает создание звуков по текстовому описанию, синтез речи, клонирование голоса по образцу, генерацию сцен с речью и фоновыми звуками, а также редактирование аудио и речи в сцене. Задача задаётся в текстовом промпте, а исходное аудио при необходимости подаётся как условие. Модель использует латентное сопоставление потоков, архитектуру MM-DiT и общий VAE-кодировщик и декодировщик для разных задач. Текстовые признаки поступают от замороженного Qwen2.5-Omni-7B через послойное объединение с блоками MM-DiT. В репозитории представлены варианты с VAE на 44 и 16 кГц; оба используют текстовый энкодер Qwen2.5-Omni-7B. Карточка указывает поддержку английского и китайского языков. Лицензия — Apache-2.0.
Карточка модели amandabenson/acestep-transcriber-fork на Hugging Face совпадает с карточкой ACE-Step/acestep-transcriber, поэтому описание составлено по ней. ACE-Step Transcriber — мультиязычная модель транскрибации, используемая ACE-Step v1.5 для разметки обучающих данных. В карточке указана архитектура Qwen2.5-Omni; модель принимает аудио и формирует структурированный текст с распознанной речью или текстом песен, а также пометками частей композиции, например куплетов, припева и инструментальных фрагментов. Модель предназначена для распознавания речи и пения, извлечения текста песен, создания субтитров и анализа музыкальной структуры. Она поддерживает более 50 языков, включая китайский, японский, корейский, вьетнамский, тайский, индонезийский, малайский, филиппинский, хинди, бенгальский, тамильский и урду. Репозиторий содержит веса в формате Safetensors, используется библиотека Transformers. Лицензия — MIT.
AuK-Flash — официальная дистиллированная версия модели AuK от Tencent для генерации и редактирования речи. Это диффузионная модель, которая использует единый интерфейс инструкций на естественном языке; для обработки текста и речи задействуется отдельный мультимодальный энкодер Qwen2.5-Omni-3B. Вариант Flash выполняет синтез за 4 шага инференса, что ускоряет генерацию по сравнению с базовой версией. Модель предназначена для синтеза речи по тексту, в том числе zero-shot TTS и генерации с инструкциями. Семейство AuK также поддерживает редактирование содержимого и акустических характеристик речи, изменение паралингвистических свойств, улучшение речи и разделение источников. Карточка AuK-Flash описывает её как дистиллированный вариант для быстрого инференса; подробности о качестве именно этой версии в предоставленных данных не приводятся. Для работы требуются веса энкодера и VAE, загружаемые отдельно. Модель распространяется по лицензии MIT.
DCCRNet_Libri1Mix_enhsingle_16k — модель для улучшения речи, обученная Joris Cosentino с помощью рецепта LibriMix в библиотеке Asteroid. Она принимает аудио и предназначена для выделения чистой речи из одноисточниковой смеси с шумом или помехами. Модель использует архитектуру DCCRN-CL и рассчитана на аудио с частотой дискретизации 16 кГц; обучение проводилось на задаче enh_single с данными Libri1Mix. Модель подходит для предварительной очистки записей речи перед прослушиванием или дальнейшей обработкой. Языковая привязка определяется обучающими данными LibriSpeech, однако README не заявляет ограничение только английским языком. Модель распространяется по лицензии CC BY-SA 4.0. README также указывает, что в обучающих данных использовался датасет WSJ0 Hipster Ambient Mixtures с лицензией CC BY-NC 4.0, ограничивающей его исследовательским использованием.
VoiceRestore — модель для восстановления качества записей речи, опубликованная jadechoghari. Она использует трансформер с flow matching и содержит около 301 млн параметров; модель принимает повреждённую аудиозапись и выдаёт восстановленную речь. Заявленные виды искажений включают фоновый шум, реверберацию, дисторсию и потерю сигнала. Модель предназначена для очистки и улучшения речевых записей. В README указано, что веса предварительно обучены, но обучение модели ещё продолжается и чекпойнты могут обновляться. Репозиторий распространяется по лицензии MIT. Модель оптимизирована для речи и может работать хуже на музыке и других типах аудио. Качество восстановления при сильных повреждениях остаётся предметом дальнейшей работы; обработка в реальном времени не заявлена.
ACE-Step 1.5 — открытая модель генерации музыки, разработанная командой ACE-Step. Она предназначена для создания песен и музыкальных фрагментов по текстовому запросу, с управлением стилем и поддержкой сценариев редактирования аудио: создания каверов, перерисовки фрагментов и преобразования вокала в фоновую музыку. В README заявлена гибридная архитектура: языковая модель планирует композицию и формирует метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Модель содержит 1,3 млрд параметров; метаданные указывают контекст в 32 768 токенов и формат Safetensors. README заявляет поддержку более 50 языков, генерацию композиций длительностью до 10 минут и работу менее чем с 4 ГБ видеопамяти. Модель ориентирована на музыкантов, продюсеров и создателей контента; README также заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. Заявления о скорости генерации, требованиях к памяти и юридической чистоте обучающих данных приведены в карточке проекта и не являются независимой оценкой качества или правового статуса конкретной генерации.
Карточка модели Chaitu515/Ace-Step1.5 на Hugging Face совпадает с карточкой ACE-Step/Ace-Step1.5, поэтому описание составлено по ней. ACE-Step 1.5 — открытая модель генерации музыки, разработанная командой ACE-Step. Она предназначена для создания песен и музыкальных фрагментов по текстовому запросу, с управлением стилем и поддержкой сценариев редактирования аудио: создания каверов, перерисовки фрагментов и преобразования вокала в фоновую музыку. В README заявлена гибридная архитектура: языковая модель планирует композицию и формирует метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Модель содержит 1,3 млрд параметров; метаданные указывают контекст в 32 768 токенов и формат Safetensors. README заявляет поддержку более 50 языков, генерацию композиций длительностью до 10 минут и работу менее чем с 4 ГБ видеопамяти. Модель ориентирована на музыкантов, продюсеров и создателей контента; README также заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. Заявления о скорости генерации, требованиях к памяти и юридической чистоте обучающих данных приведены в карточке проекта и не являются независимой оценкой качества или правового статуса конкретной генерации.
Карточка модели SYNAPSEai1/Ace-Step1.5 на Hugging Face совпадает с карточкой ACE-Step/Ace-Step1.5, поэтому описание составлено по ней. ACE-Step 1.5 — открытая модель генерации музыки, разработанная командой ACE-Step. Она предназначена для создания песен и музыкальных фрагментов по текстовому запросу, с управлением стилем и поддержкой сценариев редактирования аудио: создания каверов, перерисовки фрагментов и преобразования вокала в фоновую музыку. В README заявлена гибридная архитектура: языковая модель планирует композицию и формирует метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Модель содержит 1,3 млрд параметров; метаданные указывают контекст в 32 768 токенов и формат Safetensors. README заявляет поддержку более 50 языков, генерацию композиций длительностью до 10 минут и работу менее чем с 4 ГБ видеопамяти. Модель ориентирована на музыкантов, продюсеров и создателей контента; README также заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. Заявления о скорости генерации, требованиях к памяти и юридической чистоте обучающих данных приведены в карточке проекта и не являются независимой оценкой качества или правового статуса конкретной генерации.
ACE-Step v1.5 Base — базовая модель для генерации музыки по текстовому описанию, разработанная командой ACE-STEP. Это плотная модель семейства ACE-Step с архитектурой AceStepConditionGenerationModel и 1,3 млрд параметров; репозиторий содержит веса в формате safetensors и рассчитан на работу через Transformers. Модель предназначена для создания музыкальных композиций и коротких фрагментов по текстовым запросам, с управлением стилем и поддержкой сценариев вроде генерации кавера, перерисовки аудио и преобразования вокала в инструментальный фон. Карточка проекта описывает гибридный конвейер: языковая модель формирует план композиции, метаданные и текстовые условия для Diffusion Transformer. Заявлена работа с запросами более чем на 50 языках и создание композиций длительностью до 10 минут. README приводит скорость менее двух секунд на A100 и менее десяти секунд на RTX 3090, а также заявляет возможность локального запуска при менее чем 4 ГБ видеопамяти; фактическая производительность зависит от оборудования и настроек. Лицензия репозитория — MIT; README также заявляет возможность коммерческого использования сгенерированной музыки.
ACE-Step v1.5 SFT — модель генерации музыки из текста, разработанная командой ACE-STEP. По текстовому описанию она создаёт музыкальные композиции и поддерживает управление стилем, создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель использует гибридную архитектуру: языковая модель планирует структуру песни и подготавливает метаданные, текст и подписи, а Diffusion Transformer синтезирует аудио. Размер модели — 1,3 млрд параметров; в карточке указано контекстное окно 32 768 токенов и поддержка более 50 языков. В README заявлены генерация композиций длительностью до 10 минут, работа локально менее чем с 4 ГБ видеопамяти и скорость генерации менее 2 секунд на A100 или 10 секунд на RTX 3090. Для версии SFT таблица указывает 50 шагов, высокое качество и среднее разнообразие; извлечение, режим Lego и завершение аудио для этой версии не отмечены. Репозиторий содержит веса safetensors и распространяется по лицензии MIT; README заявляет возможность коммерческого использования созданной музыки.
ACE-Step 1.5 XL Base — базовая модель генерации музыки на основе декодера DiT с примерно 4 млрд параметров. Разработана проектом ACE-Step и служит основой для задач генерации музыки по текстовому описанию, создания каверов, перерисовки фрагментов, извлечения, сборки композиций из частей и дополнения аудио. Версия XL рассчитана на более высокое качество звука по сравнению с вариантами на 2 млрд параметров; модель использует 32 слоя, скрытый размер 2560 и 32 головы внимания. Модель предназначена для создания и редактирования музыкальных композиций. Для работы требуется значительный объём видеопамяти: от 12 ГБ с выгрузкой на CPU и INT8-квантизацией, от 16 ГБ с выгрузкой на CPU или от 20 ГБ без неё. README сообщает, что обучение использовало лицензированную, свободную от роялти или общественным достоянием музыку, а также синтетические данные, и заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT.
ACE-Step 1.5 XL Base BF16 — модель генерации музыки на основе ACE-Step/acestep-v15-xl-base. Это вариант архитектуры DiT с 3,1 млрд параметров в формате BF16; README указывает для исходной версии XL конфигурацию из 32 слоёв декодера и 32 голов внимания. Модель создаёт аудио по текстовому описанию и поддерживает задачи извлечения, комбинирования и дополнения музыки. Модель рассчитана на генерацию музыкальных фрагментов с высокой вариативностью и на сценарии редактирования или продолжения аудио. README заявляет генерацию за 50 шагов с CFG и совместимость с языковыми моделями ACE-Step размером 0,6B, 1,7B и 4B. Для работы требуется от 8 ГБ видеопамяти с выгрузкой на CPU и INT8-квантизацией; от 16 ГБ достаточно для запуска без выгрузки. В карточке заявлены обучающие данные из лицензированной, свободной от роялти или общественного достояния музыки, а также синтетических MIDI-аудиоданных, и возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT. README описывает BF16-вариант как конверсию с почти неизменным качеством; однако метаданные классифицируют его как дообучение базовой модели, поэтому происхождение отмечено как finetune.
Карточка модели amandabenson/acestep-v15-xl-base-fork на Hugging Face совпадает с карточкой ACE-Step/acestep-v15-xl-base, поэтому описание составлено по ней. ACE-Step 1.5 XL Base — базовая модель генерации музыки на основе декодера DiT с примерно 4 млрд параметров. Разработана проектом ACE-Step и служит основой для задач генерации музыки по текстовому описанию, создания каверов, перерисовки фрагментов, извлечения, сборки композиций из частей и дополнения аудио. Версия XL рассчитана на более высокое качество звука по сравнению с вариантами на 2 млрд параметров; модель использует 32 слоя, скрытый размер 2560 и 32 головы внимания. Модель предназначена для создания и редактирования музыкальных композиций. Для работы требуется значительный объём видеопамяти: от 12 ГБ с выгрузкой на CPU и INT8-квантизацией, от 16 ГБ с выгрузкой на CPU или от 20 ГБ без неё. README сообщает, что обучение использовало лицензированную, свободную от роялти или общественным достоянием музыку, а также синтетические данные, и заявляет возможность коммерческого использования сгенерированной музыки. Лицензия репозитория — MIT.