/ Модель

Характеристики

Лицензия
MIT
Опубликована
19 мар 2023

stellar-diffusion

Генерация изображенийТекст → изображение3 профессии

Stellar Diffusion — дообученная на космических снимках Stable Diffusion 1.5 для генерации астрономических изображений по текстовым запросам.

32скачиваний за 30 дней7лайковвеса обновлены22 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Stellar Diffusion v0.2 — модель text-to-image, созданная Rex Wang путём дообучения Stable Diffusion 1.5 на отобранных изображениях космоса. Она предназначена для генерации астрономических сцен по текстовому запросу: особенно хорошо модель создаёт туманности и галактики, а также может изображать чёрные дыры, пульсары, кометы и планеты. Поддерживаются некоторые обозначения объектов из каталогов NGC, Messier и UGC, а также запросы по космическим аппаратам и телескопам, цвету и типу небесного тела.

Модель использует Stable Diffusion Pipeline и рассчитана на изображения 512×512 пикселей. Для обучения использовались изображения ESA/Hubble, ESA/Webb и NASA; версия 0.2 обучена на наборе из 264 изображений. Примеры тегов для генерации приведены в отдельном файле tags.txt. Модель распространяется по лицензии MIT. Карточка не приводит результатов формальной оценки качества; поддержка некоторых астрономических обозначений и классов описана как частичная.

Сценарии применения

  • создание изображений туманностей и галактик по описанию
  • генерация изображений чёрных дыр, пульсаров и комет
  • визуализация планет Солнечной системы
  • создание изображений объектов по обозначениям NGC, Messier и UGC
  • генерация космических сцен в стиле снимков телескопов и космических аппаратов

Ограничения

Модель лучше всего справляется с туманностями и галактиками; качество изображений других планет описано как более умеренное. Поддержка астрономических обозначений и классификаций частичная, а карточка не приводит формальных оценок качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Stellar Diffusion

Stellar Diffusion v0.2 vs Base Stable Diffusion v1.5 Galaxy - Stellar Diffusion Galaxy - Stable Diffusion

prompt = A hubble photograph of a galaxy
seed = 42
size = 512x512

Version: 0.2 (Nebula) (Dreambooth / .ckpt formats)

Stable Diffusion 1.5 finetuned on high quality processed space imagery.


Python Usage

from diffusers import StableDiffusionPipeline
import torch

model_id = "rexwang8/stellar-diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "A hubble photograph of a galaxy"
image = pipe(prompt).images[0]  
    
image.save("hubble_galaxy.png")

Example Results

Stellar Diffusion

Stellar Diffusion

Stellar Diffusion

Stellar Diffusion


Suggested parameters

512x512

Place subjects and styles at the very front, roll a few times if you don't get the results you want.

Great - Nebulas, Galaxies

Good - Black holes, Pulsars, Comets, Jupiter

Decent - All other solar system planets


Reconized Tags

All reconized tags can be found in the tags.txt file. They are generated from the annotated descriptions of the photograph.

Partial support for scientific celestial body tags as follows:

NGC - New General Catalogue of Nebulae and Clusters of Stars

M / Messier - A set of 110 astronomical objects catalogued by the French astronomer Charles Messier

UGC – (catalog) Uppsala General Catalogue, a catalog of galaxies

Partial support for the following classification methods as follows:

By recording instrument/spacecraft (ex. Voyager, Hubble)

By Color

By Celestial Body type

Dataset and Credits

Model

Rex Wang (me!)

RunwayML for their SD 1.5

Compute

Coreweave - 2x A40s (~3 A40 hours)

Dataset

91 of the 100 images from https://esahubble.org/ Top 100 Hubble Images ESA/Hubble

~100 additional images from ESA/Hubble and ~10 images from ESA/Webb

~50 additional images from images.nasa.gov


Version History

V0.2 (Codename: Galaxy) - 264 image dataset

V0.1 - 91 image dataset


Contact me

All feedback, criticisms, complaints, etc to discord preferably.

wang5009@purdue.edu

Discord: bob#1236

Donate

ko-fi

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Ревизия весов
0ca5279

0 моделей