/ Модель

Характеристики

Лицензия
CreativeML OpenRAIL-M
Опубликована
9 окт 2023

rvc_okiba

Обработка аудиоАудио → аудио

Коллекция японских моделей RVC v2 для преобразования голоса, прежде всего речи, в женские или мужские голосовые тембры.

0скачиваний за 30 дней12лайковвеса обновлены9 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ttttdiva/rvc_okiba — коллекция моделей RVC v2 для преобразования голоса, собранная автором репозитория. Модели обучены на высококачественной японской речи персонажей: обычно около часа аудио на модель, в некоторых случаях около 30 минут. В коллекции представлены женские и мужские голосовые модели с индексными файлами.

Коллекция предназначена прежде всего для преобразования речи в реальном времени или при обработке готовой записи, например, для смены голоса с мужского на женский. Автор также показывает примеры преобразования пения, хотя модели настраивались для изменения голоса, а не для пения. Модель принимает аудио и преобразует его в аудио; в карточке указан японский язык. Репозиторий распространяется по лицензии CreativeML Open RAIL-M.

Сценарии применения

  • преобразование мужской речи в женский голос
  • смена тембра голоса в аудиозаписи
  • преобразование японской речи в голос персонажа
  • эксперименты с преобразованием пения

Ограничения

Модели обучены преимущественно на японской речи и ориентированы на преобразование голоса; качество пения может быть ограниченным. В README указаны небольшие обучающие наборы — обычно около часа речи на модель, а иногда около 30 минут.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RVC okiba (随時モデルを追加しています: More models are uploaded regularly)

しばらく忙しいので更新停止中です(I'm busy now, so currently update is stopped.)

人気投票・アンケートへご協力ください (Please participate in the popularity poll and survey.)

Text-to-Speech Demo here!

Update History

A collection of RVC v2 models (with index files) trained using approximately 1 hour (per model) of high-quality Japanese voice data of moe characters.

Samples can be found in the table below. (Japanese voice-change samples here)

  • There are currently 63 girl voice models (A-K3) and 6 male voice models (man-A - man-F) (Will be updated regularly, and often epochs are updated to better version)
  • The model names are unordered and do not carry any meaning.
  • Epochs are adjusted for voice-changing purpose, but singing is maybe possible as samples at some quality.

Please use the data provided by this model at your own risk.


RVC置き場

モデルのダウンロードはこちらから

Text-to-Speech(テキストからの音声合成)のデモはこちら

更新履歴

RVC v2のモデル集(index付き)。 ボイチェンで実際に使用したサンプル(男声から変換)はこちらから、また通常サンプルは下の表から聴けます。

  • 現在女性63モデル(A-K3)に男性6モデル(man-A - man-F)(随時更新します、またエポック数をたまにより良いバージョンに置き換えることもあります)
  • モデル名は順不同で意味はありません
  • 主にボイチェン用途を想定にエポックの調整をしています(が歌唱もサンプルの通りある程度はできると思われます)
  • 学習データ: 高品質な日本語発話データ、歌は無し。1ファイルの長さは4秒以上~多くても10数秒程度、無音カットやらの前処理はしていません。
  • データセット量: 1モデルにつき基本は合計60分弱、素材が足りなかったときは30分~
  • エポック数: 100-300エポックあたりから良さそうなものを選んだもの

注意事項

使用は自己責任でお願いします。

出力サンプルと雑感 (Samples and comments)

ボイチェンで実際に使用したサンプル(男声から変換)は別ページにまとめてあります。

  • 発話 (Japanese speech)

「また東寺のように五大明王と呼ばれる主要な明王の中央に配されることも多い」

  • 歌 (Japanese child-song)

でんでんむしむしかたつむり🐌

出典:sample jvs002, JVS corpus, sample_jvs001, JVS-MuSiC

RVC v2の推論タブでの変換

  • ピッチ抽出: harvest
  • ピッチ調整: 発話はjvs-samplesのファイル名に記載(記載なしはピッチ0)、歌唱は女性モデルは+12、男性モデルは0で統一
  • index使用率: 発話は1、歌唱は0.75
  • 何か保護するアレ: 0.33(デフォルト値のまま)

女性モデル (Girl models)

  • 正直声のコメントの語彙が尽きてきた
  • 「高め」「低め」は、(学習データの声の高さが高め・低めなので、)「高い声(ピッチ)と相性がいい」「低い声と相性がいい」程度の意味です。
  • 正確な声質や詳しい個人的な感想・5段階評価はボイチェンサンプル音声のページをご覧ください。
NameSpeechSongComment
Aハスキーダウナー系、低め
B癖なく明るい
C吐息混じり、ちょい低め
D元気、高め
Eウィスパー、少し特徴的
Fちょい低め、ちょい微妙かも
Gナレーターのような声、ちょい微妙かも
Hさわやか、ツンデレ風味、ちょい高め
I元気、やんちゃ、特徴的
Jダウナー、低め、特徴的
K明るく朗らか、ちょい高め
L明るく元気、ちょい高め、ちょい微妙かも
MIと似てる、Iより癖無し
NDと似てる、Dよりちょい幼い
O高め、明るく元気
Pショタボ
Q朗らかで響く声
Rはっきりした声、ちょい低め
S低め、ダウナー、ちょい微妙かも
T低音に強い、ちょっと特徴的
U澄んだ声、ちょい高め、特徴的
V凛とした声、ちょい高め
Wかなり高いロリ声
XOと似てるがOより低く落ち着いてる
Y元気で明るい声、適度な高さ
ZFと似ている、低く目で落ち着いてたぶんFより質高い
AAほどほどの高さ、包容力のある声(?)
BB高め(低めもイケる)、甘えた感じ
CC低め、中性的な女子声
DDかなり高くてたどたどしい声
EE適度な高さ、優しい声音
FFEと似てる、より高く幼い
GGちょい高めの元気ではっきりした声
HHちょっと低めで大人なはっきり明朗とした声
IIちょい高めで吐息混じりで特徴的
JJUと似てる、より低めで落ち着いた感じ
KK高く響くちょい特徴的
LLCと似てる、高め優しげ癖あり
MMほどよい高さ、透明、飾らないけどかわいい
NNちょい高め、舌っ足らず感
OO低めの大人のお姉さん
PPちょい高め、特徴的舌っ足らず感
QQちょい低め、ジト目声感
RRちょい低め、強気な感じの女の子
SS高め、儚げ、質微妙かも
TTほどよい高さ、ちょい中性的?
UU高め、包容力あるけど若い
VVほどよい高さ、ツンデレ風味
WW低め、強気なお姉さん
XX高めだけどしっかりした声
YY低めの女性のかわいい地声感
ZZすごく高め、おどおど声、極端に音域がせまい
AAAほどよい高さ、ちょっと演技がかったかわいい
BBB低い、D・Nと似た声、ボーイッシュ?
CCCちょい低めだけど高め声もいける、落ち着いてるけど少女な声音
DDDちょい低め、ちょい強気な明朗な口調
EEE高め、柔らかく演技したふんわり声音
FFF低め、ダミ声演技声
GGG高め、アニメ声のような特徴的な声音
HHH高め、幼いロリ声ロリ発音
III高い元気なアニメ声
JJJ女性の演じる少し芝居がかった男性声
K3程よい高さ

男性モデル (Male models)

NameSpeechSongComment
man-A渋いおっさん
man-B低めの男
man-Cチャラそうなお兄さん
man-D低め、ぶっきらぼう男
man-Eキザっぽい男
man-F優しそうなお兄さん

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
43c1ecb

0 моделей