/ Модель

Характеристики

Лицензия
CC BY 4.0
Опубликована
26 мая 2023

riffusion-musiccaps

Генерация изображенийТекст → изображение3 профессии

Дообученная на MusicCaps модель Riffusion для генерации музыкальных фрагментов по текстовым описаниям жанра, инструментов и настроения.

30скачиваний за 30 дней5лайковвеса обновлены1 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Hyeon2 создал дообученную на датасете MusicCaps модель на основе Riffusion для генерации музыки по текстовому описанию. Модель предназначена для создания музыкальных фрагментов по промптам, описывающим жанр, инструменты, темп, настроение и возможное применение музыки. Автор отмечает, что описания, похожие на подписи из обучающего датасета, дают более надёжные результаты.

Репозиторий содержит веса в форматах Diffusers и PyTorch; в метаданных указан английский язык и лицензия CC BY 4.0. Модель рассчитана на преобразование текста в изображение согласно pipeline_tag, но README заявляет генерацию музыки, поэтому задача по метаданным и фактическому назначению расходится. Размер модели и длина контекста не указаны.

Сценарии применения

  • создание фоновой музыки по описанию настроения
  • генерация музыкального фрагмента в заданном жанре
  • создание музыки с указанными инструментами и темпом
  • подготовка музыкальных идей для видеоигр и видеороликов

Ограничения

Автор сообщает, что результаты надёжнее при промптах, похожих на подписи MusicCaps. Метаданные указывают text-to-image, что расходится с заявленной в README генерацией музыки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Riffusion finetuned with google/musicCaps. I found that prompt similar to dataset label returns more fidable result. In my case I made a prompt with Chat GPT like this:

Now I want to make a soothing jazz with base with medium temp. Write a propmt in styles similar to above captions. Return one sentence with 3 lines

Response: Create a serene dance atmosphere with a dreamy melody, soothing synths, and a pulsing beat that gently propels listeners into a state of blissful tranquility, perfect for unwinding after a long day or enjoying a moment of peaceful dance.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Ревизия весов
fadbb15

0 моделей