/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
diffusers
Опубликована
24 сен 2026

MicroDecoder

Генерация изображенийТекст → изображение3 профессии

MicroDecoder быстро декодирует латенты диффузионных моделей в RGB-изображения для предварительного просмотра процесса генерации.

249скачиваний за 30 дней0лайковвеса обновлены28 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MicroDecoder — набор компактных VAE-декодеров от Vladmandic для быстрого преобразования латентов диффузионных моделей в RGB-изображения. Модели предназначены для живого предварительного просмотра изображений во время генерации, а не для получения окончательного высококачественного результата. По README, декодирование занимает около 0,01 секунды, качество реконструкции низкое; обработка включает коррекцию шума с учётом текущего шага генерации, коррекцию размытия и интерполяционное увеличение разрешения.

Формы тензоров и число каналов определяются по базовому VAE, поэтому конфигурацию не требуется менять при переключении моделей. В репозитории приведены предварительно обученные варианты для SD, SDXL, Flux.1, Flux.2, Qwen, Qwen-21, Wan-21 и MiniMax-H3. Файлы весов представлены в формате safetensors. Лицензия — Apache-2.0.

Сценарии применения

  • Предварительный просмотр изображений во время генерации в Stable Diffusion
  • Быстрая визуализация промежуточных латентов SDXL и Flux
  • Показ хода генерации в интерфейсе генеративной модели

Ограничения

Реконструкция имеет низкое качество и предназначена для предварительного просмотра, а не для финального изображения. README не приводит результатов сравнительной оценки качества или производительности на конкретном оборудовании.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MicroDecoder

MicroDecoder VAE can be trained on any diffusion model in ~5-15min and provides low-quality reconstruction from latents to RGB in ~0.01sec.

Inference includes noise correction based on current timestep, blurring corrections plus upscale interpolation: all with intention of providing as fast-as-possible reconstruction that is viable and consistent with any noise levels.

Intended use-case is live-preview during generative model inference.

Shapes/Channels/etc are inferred from the base VAE, so no configuration changes are needed between different models.

Models

Models included in this repo are pre-trained for following architectures:

  • SD, SDXL, Flux.1, Flux.2, Qwen, Qwen-21, Wan-21, MiniMax-H3

Code

  • Model definition here
  • Training code here
  • Example inference code here

Example

Example using MicroDecoder with Flux.2-Klein-9B and compared with official final VAE processing at the end:

MicroDecoder

Training

sd_vae_micro_train.py \
  --dim 256 \
  --epochs 350 \
  --resolution 512 \
  --scale 4 \
  --lr 0.0003
  --folder ~/generative/Input/vae/ \
  --vae AutoencoderKLQwenImage21 \
  --repo Qwen/Qwen-Image-2.1
  --output MicroVAE-qwen21.safetensors
MicroDecoder Train
Args: Namespace(folder='/home/vlado/generative/Input/vae/', max=500, resolution=512, crop='center', vae='AutoencoderKLMiniMaxH3', repo='OzzyGT/MiniMax_H3_sdnq_dynamic_4bit', subfolder='vae', dim=256, epochs=400, scale=4, batch=16, lr=0.0003, ema=0.999, val=0.1, output='microdecoder-minimaxh3.safetensors', device='cuda')
Base VAE: cls=<class 'diffusers.models.autoencoders.autoencoder_kl_minimax_h3.AutoencoderKLMiniMaxH3'> repo="OzzyGT/MiniMax_H3_sdnq_dynamic_4bit" subfolder="vae"
Init VAE: model=MicroDecoder ema=EMAModel optimizer=AdamW scheduler=CosineAnnealingLR criterion=EnhancedQualityLoss metrics=DetailedMetricsTracker
Epoch   | tTotal    | tPSNR   | tSSIM   | vTotal   | vPSNR    | vSSIM    | vL1     | vLAB
-------------------------------------------------------------------------------------------
001/400 | 7.0891    | 10.49   | 0.2540  | 7.1642   | 10.75    | 0.2357   | 0.2614  | 0.4146
...
400/400 | 4.5365    | 21.03   | 0.6402  | 1.9644   | 30.61    | 0.9266   | 0.0204  | 0.0465
Load   ━━━━━━━━━━━━━━━━━━━━ 400/400 100% 0:00:00 0:00:08 Images=400 Shape=torch.Size([400, 3, 512, 512])
Encode ━━━━━━━━━━━━━━━━━━━━ 400/400 100% 0:00:00 0:00:46 Train=360 Validation=40 EMA=0.999
Train  ━━━━━━━━━━━━━━━━━━━━ 400/400 100% 0:00:00 0:06:33 Train(psnr=21.029 ssim=0.640 lpips=2.784 l1=0.089 lab=0.156 grad=0.073 sat=0.124 fft=0.071 total=4.536) Validate(psnr=30.607 ssim=0.927 lpips=1.242 l1=0.020 lab=0.046 grad=0.046 sat=0.057 fft=0.032 total=1.964)
Complete: Time=393.89 Epoch/Sec=1.02 PSNR=30.61 dB @ Epoch=400
Save: filename="microdecoder-minimaxh3.safetensors"

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Генеративная модель выложена не в формате diffusers.

Ревизия весов
433700d

0 моделей