/ Модель

Характеристики

Лицензия
CreativeML OpenRAIL-M
Опубликована
24 дек 2022

science-sobotta-anatomical-drawings

Генерация изображенийТекст → изображение3 профессии

Дообученная Stable Diffusion для генерации анатомических рисунков в стиле Sobotta по текстовым запросам.

6скачиваний за 30 дней18лайковвеса обновлены25 дек 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображения» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель sanderland/science-sobotta-anatomical-drawings — версия Stable Diffusion, дообученная автором на концепции sbtstyle методом DreamBooth. Она предназначена для создания изображений анатомических рисунков по текстовым запросам; для воспроизведения стиля в запрос добавляют формулировку «an anatomical drawing in the style of sbtstyle». Модель распространяется в форматах Diffusers и PyTorch и создана в рамках DreamBooth Hackathon.

Обучающий набор основан на изображениях анатомических рисунков Sobotta; автор указывает, что исходные изображения имеют разное число каналов и для подготовки данных требуется преобразование в оттенки серого с тремя каналами. Лицензия — CreativeML OpenRAIL-M. Модель ориентирована на стилизованную генерацию анатомических иллюстраций; README не сообщает размер модели, длину контекста или языковой охват.

Сценарии применения

  • создание анатомических иллюстраций по текстовому описанию
  • генерация рисунков в стиле атласа Sobotta
  • визуализация органов и частей тела в виде учебного рисунка

Ограничения

Модель создаёт стилизованные изображения и не заявлена как источник медицински точных иллюстраций. Для подготовки исходных обучающих изображений требуется преобразование в оттенки серого с тремя каналами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DreamBooth model for for anatomical drawings

This is a Stable Diffusion model fine-tuned on the sbtstyle concept with DreamBooth. It can be used by modifying the instance_prompt: an anatomical drawing in the style of sbtstyle

This model was created as part of the DreamBooth Hackathon 🔥. Visit the organisation page for instructions on how to take part!

Examples and data

Some more examples generated by others:

Dataset

The full dataset used to train on can be found here: Sanderbaduk/sobotta-anatomical-dataset. These images and others like it can be found on wikimedia commons.

If you use this directly you will get an error as the raw images have different numbers of channels. Include a grayscale step to fix this and ensure that classic feel.

self.transforms = transforms.Compose(
    [
        transforms.Resize(size),
        transforms.Grayscale(num_output_channels=3), 
        transforms.CenterCrop(size),
        transforms.ToTensor(),
        transforms.Normalize([0.5], [0.5]),
    ]
)

Usage

from diffusers import StableDiffusionPipeline

pipeline = StableDiffusionPipeline.from_pretrained('Sanderbaduk/science-sobotta-anatomical-drawings')
image = pipeline().images[0]
image

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Ревизия весов
64300af

0 моделей