/ Модель

Характеристики

Опубликована
19 янв 2024

Disco-Elysium-Narrator-RVC-v2

Обработка аудиоАудио → аудио

Голосовая модель RVC v2 преобразует аудио в голос рассказчика Disco Elysium Ленвала Брауна.

0скачиваний за 30 дней20лайковвеса обновлены19 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Its7up/Disco-Elysium-Narrator-RVC-v2 — голосовая модель RVC v2, обученная автором Its7up на голосе рассказчика Ленвала Брауна из игры Disco Elysium. Она предназначена для преобразования входного аудио так, чтобы оно звучало голосом рассказчика, например для озвучивания реплик или создания голосовых роликов в этом стиле.

Модель обучалась 300 эпох на более чем часе игровых фрагментов длительностью около 10 секунд. В обучающую выборку вошли реплики из разных мест сюжета, включая альтернативные аудиофрагменты; разные игровые навыки отдельно не разделялись. Репозиторий содержит веса PyTorch и индекс RVC для использования в соответствующем голосовом конвертере.

Модель специализирована на имитации конкретного игрового голоса и не предназначена для общего синтеза речи или распознавания аудио. Лицензия в доступных данных не указана.

Сценарии применения

  • преобразование речи в голос рассказчика Disco Elysium
  • озвучивание игровых реплик характерным низким голосом
  • создание фанатских роликов с голосовой конверсией
  • эксперименты с RVC на голосе персонажа

Ограничения

Обучающие клипы взяты из разных игровых ситуаций без разделения по навыкам, поэтому отдельные голоса и манера речи навыков не изолированы. Модель рассчитана на голосовую конверсию, а не на распознавание или самостоятельный синтез речи из текста.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

An RVC v2 AI voice model trained on the Disco Elysium narrator Lenval Brown's voice from the game. Trained on 300 epochs with more than an hour of 10-second clips extracted from the video game. Clips were taken from any point in the story, included alternative clips hidden in game files, and there was no discrimination between different skills.

Some famous quotes read by this RVC AI voice:

To use:

  • Drag the de_narrator.pth file to the assets/weights folder
  • Drag the added_IVF256_Flat_nprobe_1_de_narrator_v2.index file to the logs/de_narrator folder. If the logs/de_narrator folder does not exist, then create it.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
1a95852

0 моделей