/ Модель
Каталог

Характеристики

Лицензия
Своя лицензия
Опубликована
9 авг 2023

Ссылки

Hugging Face

vroid-diffusion-test

Mitsua
Генерация изображенийТекст → изображение3 профессии

Исследовательская латентная диффузионная модель Abstract Engine для генерации изображений по тексту и изучения влияния обучения U-Net.

241скачиваний за 30 дней1лайквеса обновлены12 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VRoid Diffusion — латентная диффузионная модель преобразования текста в изображения, разработанная Abstract Engine. Она предназначена для исследовательских и образовательных экспериментов с тем, как обучение U-Net влияет на генерацию изображений; карточка исключает любое развёрнутое прикладное использование.

Текстовый энкодер основан на OpenCLIP ViT-H/14, VAE — на Mitsua Diffusion One, а U-Net обучен с нуля на модифицированном наборе VRoid Image Dataset Lite. В репозитории также описаны варианты с перестановкой названий цветов в подписях и с обучающими изображениями, преобразованными в оттенки серого, а также безусловный генератор без CLIP. Модель рассчитана на генерацию изображений по текстовым запросам; сведения о поддерживаемых языках и длине контекста не приводятся.

Модель выпущена по лицензии Mitsua Open RAIL-M License. Это исследовательская демонстрация, и авторы не рекомендуют развёртывать её для прикладных сценариев. VRoid является товарным знаком Pixiv Inc.

Сценарии применения

  • эксперименты с генерацией изображений по текстовым запросам
  • учебная демонстрация обучения U-Net в диффузионных моделях
  • сравнение генерации цветных и монохромных изображений
  • изучение влияния подписей с переставленными названиями цветов

Ограничения

Карточка предназначает модель только для исследовательских и образовательных целей и исключает развёрнутое прикладное использование. Поддерживаемые языки и длина контекста не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for VRoid Diffusion

This is a latent text-to-image diffusion model to demonstrate how U-Net training affects the generated images.

  • Text Encoder is from OpenCLIP ViT-H/14, MIT License, Training Data : LAION-2B
  • VAE is from Mitsua Diffusion One, Mitsua Open RAIL-M License, Training Data: Public Domain/CC0 + Licensed
  • U-Net is trained from scratch using full version of VRoid Image Dataset Lite with some modifications.
  • VRoid is a trademark or registered trademark of Pixiv inc. in Japan and other regions.

Model Details

  • vroid_diffusion_test.safetensors
    • base variant.
  • vroid_diffusion_test_invert_red_blue.safetensors
    • red and blue in the caption is swapped.
    • pink and skyblue in the caption is swapped.
  • vroid_diffusion_test_monochrome.safetensors
    • all training images are converted to grayscale.

Model Variant

Model Description

  • Developed by: Abstract Engine.
  • License: Mitsua Open RAIL-M License.

Uses

Direct Use

Text-to-Image generation for research and educational purposes.

Out-of-Scope Use

Any deployed use case of the model.

Training Details

  • Trained resolution : 256x256
  • Batch Size : 48
  • Steps : 45k
  • LR : 1e-5 with warmup 1000 steps

Training Data

We use full version of VRoid Image Dataset Lite with some modifications.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Ревизия весов
13dc11c

0 моделей

    Создать бенчмарк