/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
26 окт 2022

Taiyi-Diffusion-532M-Cyberpunk-Chinese

ЭмбеддингиТекст → embedding

Модель диффузии IDEA-CCNL для генерации киберпанк-изображений по китайским текстовым подсказкам с использованием совместимого Taiyi-CLIP.

20скачиваний за 30 дней5лайковвеса обновлены26 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Taiyi-Diffusion-532M-Cyberpunk-Chinese — IDEA-CCNL 的 532 млн параметровая модель диффузии, дообученная на более чем тысяче собранных в интернете изображений в стиле киберпанк. В сочетании с IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese она поддерживает генерацию изображений по китайским текстовым подсказкам методом guided diffusion.

Модель предназначена для создания киберпанк-иллюстраций, в частности городских сцен, по описаниям на китайском языке. В карточке указана лицензия Apache-2.0. Для текстового управления генерацией требуется совместимый Taiyi-CLIP; сама модель описана как дообучение диффузионной модели для изображений 512×512.

Сценарии применения

  • генерация киберпанк-городов по китайскому описанию
  • создание киберпанк-иллюстраций для концепт-арта
  • визуализация сцен в эстетике киберпанка
  • эксперименты с китайским управлением guided diffusion

Ограничения

Для генерации по китайскому тексту README указывает на необходимость совместного использования с IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese. Дообучение основано на более чем тысяче собранных в интернете киберпанк-изображений, поэтому тематика и разнообразие обучающих данных ограничены.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Taiyi-Diffusion-532M-Cyberpunk-Chinese

简介 Brief Introduction

该模型由Katherine Crowson's的无条件扩散模型在1k+张收集的赛博朋克风的图上微调而来。结合IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese可以实现中文Guided Diffusion的生成方式。

This model is finetune from Katherine Crowson's fine-tuned 512x512 diffusion model (https://github.com/openai/guided-diffusion), using 1k+ cyberpunk-style image crawled from the InterNet. Combine With IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese can generate image via guided diffusion in Chinese.

模型分类 Model Taxonomy

需求 Demand任务 Task系列 Series模型 Model参数 Parameter额外 Extra
特殊 Special多模态 Multimodal太乙 TaiyiDiffusion Model532MCyberpunk

使用 Usage

使用示例见:https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/main/fengshen/examples/disco_project

生成示例 Example

城市,赛博朋克城市,赛博朋克

引用 Citation

如果您在您的工作中使用了我们的模型,可以引用我们的论文:

If you are using the resource for your work, please cite the our paper:

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我们的网站:

You can also cite our website:

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура HFUNetModel неизвестна transformers в образе рантайма.

Класс архитектуры
HFUNetModel
Ревизия весов
5e1257b

0 моделей