/ Модель

Характеристики

Лицензия
MIT
Опубликована
11 апр 2022

fastgan-few-shot-shells

Генерация изображенийТекст → изображение

FastGAN генерирует изображения раковин без текстового запроса и рассчитана на обучение на небольших наборах изображений.

0скачиваний за 30 дней6лайковвеса обновлены6 мая 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FastGAN — генеративно-состязательная модель для безусловной генерации изображений, обученная на 64 высококачественных изображениях раковин. Модель опубликована в проекте Hugging Face HugGAN и предназначена для генерации изображений по небольшому набору примеров.

Архитектура использует модуль возбуждения каналов со сквозными связями и дискриминатор с самообучением, выступающий как экстрактор признаков. FastGAN рассчитана на обучение на небольших наборах данных и помогает получать изображения при ограниченных вычислительных ресурсах. Репозиторий содержит веса PyTorch; лицензия — MIT.

Модель обучена на изображениях раковин, поэтому её генерации ориентированы на этот визуальный класс. README отмечает, что FastGAN быстрее сходится на небольших наборах, содержащих менее 1000 примеров.

Сценарии применения

  • генерация изображений раковин
  • создание дополнительных примеров раковин для визуальных наборов данных
  • эксперименты с генеративными состязательными сетями на малых выборках

Ограничения

Модель обучена на 64 изображениях раковин и предназначена для генерации изображений этого класса; README сообщает о более быстрой сходимости на наборах менее чем из 1000 примеров. В README не приведены результаты оценки качества генерации.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Generate shell image using FastGAN

Model description

FastGAN model is a Generative Adversarial Networks (GAN) training on a small amount of high-fidelity images with minimum computing cost. Using a skip-layer channel-wise excitation module and a self-supervised discriminator trained as a feature-encoder, the model was able to converge after some hours of training for either 100 high-quality images or 1000 images datasets.

This model was trained on a dataset of 64 high-quality images of Shells.

How to use

# Clone this model 
git clone https://huggingface.co/huggan/fastgan-few-shot-shells/

def load_generator(model_name_or_path):
    generator = Generator(in_channels=256, out_channels=3)
    generator = generator.from_pretrained(model_name_or_path, in_channels=256, out_channels=3)
    _ = generator.eval()

    return generator
    
def _denormalize(input: torch.Tensor) -> torch.Tensor:
    return (input * 127.5) + 127.5
    
# Load generator
generator = load_generator("huggan/fastgan-few-shot-shells")

# Generate a random noise image
noise = torch.zeros(1, 256, 1, 1, device=device).normal_(0.0, 1.0)
with torch.no_grad():
  gan_images, _ = generator(noise)
  
gan_images = _denormalize(gan_images.detach())
save_image(gan_images, "sample.png", nrow=1, normalize=True)

Limitations and bias

  • Converge faster and better with small datasets (less than 1000 samples)

Training data

fastgan-few-shot-shells

Generated Images

Example image

BibTeX entry and citation info

@article{FastGAN,
  title={Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis},
  author={Bingchen Liu, Yizhe Zhu, Kunpeng Song, Ahmed Elgammal},
  journal={ICLR},
  year={2021}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Безусловная генерация изображений пока не поддерживается.

Ревизия весов
698843e

0 моделей