Характеристики

Размер весов: 8,5 ГБ
Лицензия: CreativeML OpenRAIL-M
Библиотека: diffusers
Опубликована: 31 мая 2023

Ссылки

BracingEvoMix

Генерация изображенийТекст → изображение3 профессии

Слияние чекпойнтов Stable Diffusion 1.x для генерации иллюстраций и изображений по текстовым промптам, в том числе с восточноазиатской внешностью.

748скачиваний за 30 дней153лайкавеса обновлены1 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BracingEvoMix — модель преобразования текста в изображения на базе Stable Diffusion 1.x, собранная автором sazyou_roukaku путём слияния нескольких чекпойнтов. Она предназначена для генерации иллюстраций и изображений с восточноазиатской внешностью по естественно-языковым и теговым промптам; автор отмечает хорошую работу с подробными текстовыми описаниями сцен. Для рекомендуемой настройки используется CLIP skip 2. Модель распространяется в формате Safetensors и использует библиотеку Diffusers.

Автор указывает, что в версии v2 объединены OpenBra/OpenBraβ, DreamShaper, EpicRealism, DiamondCoalMix и другие модели, чтобы сочетать разнообразие сцен, фонов и поз с характерными чертами лиц. Отдельные варианты серии улучшали анатомию пальцев. Лицензия — CreativeML OpenRAIL-M; README описывает ограничения лицензии, включая запрет некоторых применений, и предупреждает, что риск происхождения данных не исключён. Автор также снимает с себя ответственность за результаты использования.

Сценарии применения

генерация иллюстраций по описанию сцены
создание изображений персонажей с восточноазиатскими чертами
генерация изображений по естественно-языковому промпту
создание фонов и сцен с подробным описанием
создание изображений по теговым промптам

Ограничения

Автор указывает на возможные недостатки анатомии пальцев и предупреждает, что полностью исключить нежелательные источники в базовых моделях невозможно. Использование ограничено условиями CreativeML OpenRAIL-M.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель I.10Универсальные способностиВидео, анимация и 3DAI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены.18 задач3 279моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

License:CreativeML Open RAIL-M Additional Copyright: sazyou_roukaku (TwitterID @sazyou_roukaku) as of May 31, 2023

このモデルは『CreativeML Open RAIL-M』でLicenseそのものに変更はありません。 ~~しかし追加著作者として鎖城郎郭の名前が追加されています。~~ しかし追加著作者として佐城郎画の名前が追加されています。(6/10 Twitterネーム変更に伴い、表記変更。License内はsazyou_roukakuの為変更なし) なお『CreativeML Open RAIL-M』に記載されている通り、本モデルを使用しての生成物に関してはLicenseの使用制限Aの事例を除き、当方は一切関与致しません。犯罪目的利用や医療用画像など特定専門的な用途での利用は使用制限Aで禁止されています。必ず確認しご利用ください。また当方は一切責任を持ちません。免責されていることをご了承の上、ご使用ください。 2023/10/01 BracingEvoMix_v2一般公開。 ・BracingEvoMix_v2 CLIP設定/clip skip:2 推奨ネガティブプロンプトベース:

(worst quality:2),(low quality:1,4),(undressing:1.5),(manicure:1.5),(long neck:2),lip,make up,(depth of field, bokeh, blurry, blurry background:1.4)

マージ利用モデル一覧
[BracingEvoMix_v2]
OpenBra
©BanKai @PleaseBanKai
dreamshaper_6BakedVae
(https://civitai.com/models/4384) ©Lykon
epicrealism_newEra
epicrealism_pureEvolutionV5
(https://civitai.com/models/25694) ©epinikion
diamondCoalMix_diamondCoalv2
(https://civitai.com/models/41415) ©EnthusiastAI
sxd_v10
(https://civitai.com/models/1169) ©izuek
Evt_V4_e04_ema
(https://huggingface.co/haor/Evt_V4-preview) ©haor
bp_mk5
(https://huggingface.co/Crosstyan/BPModel) ©Crosstyan

[BracingEvoMix_v1]
OpenBraβ
OpenBra
©BanKai @PleaseBanKai

dreamshaper_5Bakedvae
dreamshaper_6BakedVae
(https://civitai.com/models/4384) ©Lykon
epicrealism_newAge
epicrealism_newEra
(https://civitai.com/models/25694) ©epinikion
diamondCoalMix_diamondCoalv2
(https://civitai.com/models/41415) ©EnthusiastAI
sxd_v10
(https://civitai.com/models/1169) ©izuek
Evt_V4_e04_ema
(https://huggingface.co/haor/Evt_V4-preview) ©haor

[BracingEvoMix_Another]
OpenBra
©BanKai @PleaseBanKai
dreamshaper_6BakedVae
(https://civitai.com/models/4384) ©Lykon
epicrealism_newEra
(https://civitai.com/models/25694) ©epinikion
sxd_v10
(https://civitai.com/models/1169) ©izuek
Evt_V4_e04_ema
(https://huggingface.co/haor/Evt_V4-preview) ©haor

[BracingEvoMix_Fast]
OpenBra
©BanKai @PleaseBanKai
dreamshaper_6BakedVae
(https://civitai.com/models/4384) ©Lykon
epicrealism_newEra
(https://civitai.com/models/25694) ©epinikion
Evt_V4_e04_ema
(https://huggingface.co/haor/Evt_V4-preview) ©haor
bp_mk5
(https://huggingface.co/Crosstyan/BPModel) ©Crosstyan

推奨設定

CLIP設定/clip skip:2

badhand系のnegativeTIを入れた場合と入れない場合の差は感覚的に大差ありません。
このモデルはEasyNegativeもしくはBadBras推奨です。 EasyNegative v2 は人体構造破綻率が上記と比べて高いので非推奨。

自然言語的な文章プロンプトにかなり強いですが、シチュエーション以外の詳しい顔造形などは、
好みに合わせてワードプロンプトで指定するのが私のスタイルです。
ワードだけ構成でも問題があるわけではないので使いやすいスタイルで使ってください。

クオリティプロンプトは、high qualityなどは有効性を感じていません。
masterpieceは顔造形が変化する感覚ありますが、クオリティアップとしては微妙です。

ただhigh resolutionは背景や質感に効果あります。high res、Hiresなど色々ありますが、
一番high resolutionを信頼しています。

また1girlなどのWD式プロンプトではなく、girl、womanやyoung woman等の自然言語での使用も検討ください。
CGFスケールを少し下げ、5程度にすることで、全体的なコントラストを弱めることも技法として有用です。
肌の色が濃く感じる場合は(fair skin:1.2)を入れると白くなります。上記と併せてご利用ください

ネガティブプロンプトベース

EasyNegative,(worst quality:2),(low quality:1.4),(undressing:1.5), (disheveled clothes:1.4),(manicure:1.2),(nipple:1.2),(long neck:2),

FAQ
Q1:BracingEvoMixとは何か
A1:
従来のマージモデルはNAIleakモデルの混入やDreamlikeLicenseの混入の恐れがあり、本格的なビジネス利用において判断に困るような場面が見受けられました。今回のBracingEvoMixは、BRAの学習開発者であるBanKai氏と直接話し合い、有志の寄付の結果生まれたOpenBraβ・OpenBraをベースにマージしたモデルです。他も全て学習モデルとなっており、マージモデルでの組み合わせよりリスクモデルの混入確率をグンと減らしています。極東アジア系の顔が出るマージモデルの中では一番低リスクモデルだと考えられます。しかし学習モデルと名乗っていても、その中身に関して詳細を知ることはできないのでリスクゼロではありません。コサイン一致率などを元に選定も行っておりますが、混入がないとは言い切れない点はご承知おきください。 Q2:完全な混入していないモデルは無理なのか
A2:
追加学習のみだと、データの偏りが生まれ、背景などを含めてどうしても能力にムラが出ます。個人レベルで完全な学習モデルを生み出すのは不可能に近い為、マージで対応する必要があります。しかしこれらの学習モデルの中身に関しては専門家でもないので、解析できません。なお差分抽出にて、特定モデルのデータと一致するデータを除去することは可能ですが、その差を取ることそのものが、派生モデルとしての条件を満たす可能性があります。またNAIleakモデル本体をDLしなければならず、そこも含めて困難と言えます。 Q3:各学習モデル選定基準について
A3:
①sxd_v10 これはNSFWモデルです。NSFWモデルを入れると脱衣をしやすくなるなど問題がある反面、 OpenBraの弱点の一つである下半身の学習度合がやや低い点の補強と様々なポーズ学習データ補強に用いています。なお割合を増やし過ぎると露出がしやすくなる為、最低限の量をマージしています。 sxdは比較的初期モデルながら、学習量も多めで、制限もない為、選択しています。 ②dreamshaper_5Bakedvae/dreamshaper_6BakedVae dreamshaperは商用画像生成サービスでも利用されている有名な学習モデルです。学習モデルとして追加学習量も多くデータの多様性も高い為、多様性補強用に採用しています。 ③epicrealism_newAge/epicrealism_newEra 現行の学習モデルで最強のスペックを誇ると思われます。背景補強と能力の高さから採用しています。 ④diamondcoalmix_diamondcoalv2 極東アジア人顔の系統データを持つ学習モデル。作者がLORA作成を多く行っており、またコサイン値からも問題ないと判断し、極東アジアデータ補強で採用。 ⑤Evt_V4_e04_ema ACertaintyというNAIleakデータを含まないと公言しているイラスト学習モデルでトレーニングを行い生み出されたモデル。イラストモデルをマージすることで、人種・年齢関係なく、顔データに影響を与えられるため、肖像権侵害率を下げる意味合いと日本人好みの顔立ちにする為に採用しています。 ※ACertaintyはNOVEL AIのデータを蒸留している可能性はありますが、こちらは特許法に抵触しない為、問題ないと考えています。 ACertainty https://huggingface.co/JosephusCheung/ACertainty https://huggingface.co/JosephusCheung/ASimilarityCalculatior ⑥bp_mk5 ACertaintyベースの学習モデル。BracingEvoMix_Fastはリバランスの為に用いています。 Q4:無印の指のクオリティがchilled_remix等と比べて低い
A4:
使用モデルが一定の基準をクリアした学習モデルに限定されているため、データの安定性が最新モデルと比べて低いです。それでも初期モデルよりはまだシャープな指として出力され、3月中頃のモデルと比較して、平均的な出力だと感じています。 ~~今後可能ならば、指強化等も検討しますが学習データからして困難と見ています。~~ 申し訳ございませんが、controlnetでの制御などもご検討ください。 6/14 追記:AnotherやFastはこの指の精度改善を行い、6月時点の最新フォトモデルの平均並みの出力だと考えています。

Q5:今回の制限に問題や矛盾はないのか
A5: diamondCoalMix_diamondCoalv2 、 dreamshaper_5Bakedvae 、 dreamshaper_6BakedVae は
OK:Have different permissions when sharing mergesとなっており解除可能。
他は制限なしの為、今回全て制限なしとし公開しております。

なおマージ利用モデル側にLicense変更・制限変更等が生じた際も
5/31時点のLicenseや制限を前提として公開している為、creativeml-openrail-mに準じます。こちらはMergeModel_LicenseSS_v1に該当モデルのSSを保管しております。

なおマージ利用モデル側に重大な問題が発生した場合は、モデルの公開停止を行い、
利用停止を呼びかける可能性はありますが、当方側を理由とした追加制限を設けることは致しません。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Генеративная модель выложена не в формате diffusers.

Ревизия весов: fc6b0c8