/ Модель

Характеристики

Лицензия
Своя лицензия
Библиотека
pytorch
Опубликована
30 мар 2026

PixelDiT-ImageNet

Генерация изображенийТекст → изображение

PixelDiT — диффузионный трансформер NVIDIA для генерации изображений ImageNet в разрешении 256×256.

0скачиваний за 30 дней15лайковвеса обновлены15 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PixelDiT — модель генерации изображений в пространстве пикселей на основе диффузионного трансформера, разработанная NVIDIA совместно с исследователями University of Rochester. Репозиторий содержит предварительно обученные чекпойнты для ImageNet с разрешением 256×256; опубликованы варианты после 80, 160 и 320 эпох обучения. Для оценки авторы используют FlowDPMSolver с 100 шагами, а качество измеряют по протоколу ADM на 50 тысячах сэмплов.

Модель предназначена для генерации изображений ImageNet по условию класса; карточка Hugging Face относит её к задаче unconditional image generation. Доступны веса PyTorch, а лицензия обозначена как other. В README приведены gFID 2,36, 1,97 и 1,61 для трёх чекпойнтов соответственно. Описание не сообщает размер модели или точные условия лицензии; применение вне сценария ImageNet и другие разрешения не подтверждены.

Сценарии применения

  • генерация изображений размером 256×256 по классу ImageNet
  • исследование диффузионных трансформеров в пространстве пикселей
  • сравнение качества генерации изображений по метрике gFID

Ограничения

README описывает чекпойнты для ImageNet с разрешением 256×256 и не подтверждает работу с другими наборами данных или разрешениями. Лицензия указана как other, поэтому условия использования следует уточнить по карточке репозитория.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Pre-trained Checkpoints

CheckpointResolutionEpochsgFIDCFG ScaleTime ShiftCFG Interval
imagenet256_pixeldit_xl_epoch80.ckpt256x256802.363.251.0[0.1, 1.0]
imagenet256_pixeldit_xl_epoch160.ckpt256x2561601.973.251.0[0.1, 1.0]
imagenet256_pixeldit_xl_epoch320.ckpt256x2563201.612.751.0[0.1, 0.9]
imagenet512_pixeldit_xl.ckpt512x5128501.813.52.0[0.1, 1.0]

All evaluations use FlowDPMSolver with 100 steps. 50K samples. Metrics follow the ADM evaluation protocol.

Usage

Installation

pip install -r requirements.txt

Evaluation (Generate 50K Samples)

cd c2i/

# ImageNet 256x256 (epoch 320, best FID)
torchrun --nproc_per_node=8 main.py predict \
  -c configs/pix256_xl.yaml \
  --ckpt_path=imagenet256_pixeldit_xl_epoch320.ckpt \
  --model.diffusion_sampler.class_path=src.diffusion.FlowDPMSolverSampler \
  --model.diffusion_sampler.init_args.num_steps=100 \
  --model.diffusion_sampler.init_args.guidance=2.75 \
  --model.diffusion_sampler.init_args.timeshift=1.0 \
  --model.diffusion_sampler.init_args.guidance_interval_min=0.1 \
  --model.diffusion_sampler.init_args.guidance_interval_max=0.9 \
  --per_run_seed=false --seed_everything=1000

# ImageNet 512x512
torchrun --nproc_per_node=8 main.py predict \
  -c configs/pix512_xl.yaml \
  --ckpt_path=imagenet512_pixeldit_xl.ckpt \
  --model.diffusion_sampler.class_path=src.diffusion.FlowDPMSolverSampler \
  --model.diffusion_sampler.init_args.num_steps=100 \
  --model.diffusion_sampler.init_args.guidance=3.5 \
  --model.diffusion_sampler.init_args.timeshift=2.0 \
  --model.diffusion_sampler.init_args.guidance_interval_min=0.1 \
  --model.diffusion_sampler.init_args.guidance_interval_max=1.0 \
  --per_run_seed=false --seed_everything=10000

After generating samples, compute FID with the ADM evaluation toolkit.

Citation

@inproceedings{yu2025pixeldit,
      title={PixelDiT: Pixel Diffusion Transformers for Image Generation},
      author={Yongsheng Yu and Wei Xiong and Weili Nie and Yichen Sheng and Shiqiu Liu and Jiebo Luo},
      booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
      year={2026},
}

License

This model is released under the NSCLv1 License. The work and any derivative works may only be used for non-commercial (research or evaluation) purposes.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Безусловная генерация изображений пока не поддерживается.

Ревизия весов
6584a95

0 моделей