/ Модель
Каталог

Характеристики

Лицензия
MIT
Опубликована
28 июн 2023

Ссылки

Hugging Face

genshin-impact

mrmocciai
Обработка аудиоАудио → аудио

Набор японских моделей RVC V2 преобразует аудио в голоса персонажей Genshin Impact для каверов и изменения голоса.

0скачиваний за 30 дней36лайковвеса обновлены27 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Набор японских голосовых моделей RVC V2 для персонажей Genshin Impact, созданный Mocci24, HirumiM и другими авторами. Модели предназначены для преобразования входного аудио в голос выбранного персонажа, в том числе для создания каверов и изменения голоса. В карточке перечислено 51 модель; обучение выполнялось на оригинальном пайплайне RVC V2 с частотой дискретизации 40 кГц, не менее чем на 300 эпохах для большинства моделей. Используются экстракторы высоты тона Harvest и RMVPE; для некоторых моделей параметры обучения неизвестны.

Репозиторий распространяется по лицензии MIT. Качество зависит от конкретной модели и входного аудио: карточка отмечает, что у Clorinde ограниченный набор данных и результат может быть недостаточно качественным. Для модели Kaveh требуется установить speaker/singer ID в 4.

Сценарии применения

  • создание музыкального кавера голосом персонажа Genshin Impact
  • преобразование голоса в голос конкретного персонажа
  • эксперименты с японскими голосами персонажей в аудио

Ограничения

Качество зависит от конкретного персонажа и входного аудио; автор предупреждает, что ограниченный набор данных для Clorinde может ухудшать результат. Для модели Kaveh необходимо установить speaker/singer ID в 4.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RVC Models Genshin Impact V2 Japanese

Huggingface

INFO

Model Creator : ~ Mocci24 ~ HirumiM

Looking for example song cover from this models?

RVC V2 Models informations

Trained on Original RVC Training V2 . Using Pitch Extractions "haverst" and "rmvpe". Minimum 300 Epoch , 40k Sample rate, and 5-20 minutes dataset with battle voice.

Currently Models (51 Total) sort by name

~ Aether 1000 epoch (havest) by HirumiM ~ Amber 400 epoch (havest) by HirumiM ~ ARLECCHINO 300 EPOCH (rmvpe) by MrMocci ~ Bannett 400 epoch (havest) by HirumiM ~ BEIDOU 400 EPOCH (rmvpe) by HirumiM ~ Candace 400 epoch (havest) by Mocci24 ~ Childe 400 epoch (havest) by HirumiM ~ CHIORI 300 epoch (rmvpe) by Mocci24 ~ CLORINDE 225 EPOCH (rmvpe) by Mocci24 ~ Collei 400 epoch (havest) by HirumiM ~ DEHYA 400 EPOCH (rmvpe) by Mocci24 ~ EULA 400 EPOCH (rmvpe) by Mocci24 ~ FARUZAN 400 EPOCH (rmvpe) by HirumiM ~ FURINA 375 EPOCH (rmvpe) by Mocci24 ~ Ganyu 400 epoch (havest) by Mocci24 ~ Hutao 400 epoch (havest) by Mocci24 ~ JEAN 400 EPOCH (rmvpe) by Mocci24 ~ KAEDEHARA KAZUHA 400 EPOCH (rmvpe) by HirumiM ~ Kamisato Ayaka 1000 epoch (havest) by Mocci24 ~ KAMISATO AYAKA 400 EPOCH (rmvpe) by Hirumim & Mocci24 ~ Kaveh 400 epoch (havest) by HirumiM (Note: Set speaker/singer id to 4, this case only applies to the Kaveh models, for other models, it's still same.) ~ Keqing 400 epoch (havest) by HirumiM ~ KIRARA 400 EPOCH (rmvpe) by Mocci24 ~ KUJO SARA 400 EPOCH (rmvpe) by Mocci24 ~ Layla 400 epoch (havest) by HirumiM ~ LYNETTE 400 EPOCH (rmvpe) by Mocci24 ~ LYNEY 400 EPOCH (rmvpe) by Mocci24 ~ Lisa 400 epoch (havest) by Mocci24 ~ Lumine 1000 (havest) epoch by HirumiM ~ MAVUIKA 300 EPOCH (rmvpe) by Mocci24 ~ Mualani --- epoch (----) by Hanvy12345 ~ Nahida 400 epoch (havest) by HirumiM ~ NAVIA 400 EPOCH (rmvpe) by Mocci24 ~ NEUVILLETTE 400 EPOCH (rmvpe) by Mocci24 ~ NILOU 400 EPOCH (rmvpe) by Mocci24 ~ PAIMON 400 EPOCH (rmvpe) by HirumiM ~ RAIDEN EI 400 EPOCH (rmpve) by HirumiM ~ RAIDEN PUPPET 400 EPOCH (rmvpe) by HirumiM ~ Sangonomiya Kokomi 400 epoch (havest) by Mocci24 ~ SHENHE 400 EPOCH (rmvpe) by Mocci24 ~ VENTI 400 EPOCH (rmpve) by Mocci24 ~ Warderer 400 epoch (havest) by HirumiM ~ WRIOTHESLEY 350 EPOCH (rmvpe) by Mocci24 ~ Xianyun --- epoch (----) by Hanvy12345 ~ XIANGLING 400 EPOCH (rmpve) by Mocci24 ~ Xiao 400 epoch (havest) by HirumiM ~ Xinyan 400 epoch(havest) by HirumiM ~ Yae Miko 400 epoch (havest) by Mocci24 ~ Yanfei 400 epoch (havest) by HirumiM ~ YELAN 400 EPOCH (rmvpe) by HirumiM ~ Yoimiya 500 epoch (havest) by Mocci24 ~ Zhongli 400 epoch (havest) by Mocci24

Copy to your colab notebook (run this before run/install requirement.txt):

!apt install git-lfs
!git lfs install
!git clone https://huggingface.co/mrmocciai/genshin-impact

and this



!git clone https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI.git
!mkdir -p /content/Retrieval-based-Voice-Conversion-WebUI/logs
!cp -r /content/genshin-impact/req/* /content/Retrieval-based-Voice-Conversion-WebUI
!mv /content/genshin-impact/model/* /content/Retrieval-based-Voice-Conversion-WebUI/logs
!mv /content/Retrieval-based-Voice-Conversion-WebUI/logs/weights/* /content/Retrieval-based-Voice-Conversion-WebUI/weights
%cd /content/Retrieval-based-Voice-Conversion-WebUI
!mkdir -p pretrained uvr5_weights

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
c663704

0 моделей

    Создать бенчмарк