/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
8,8 ГБ
Лицензия
MIT
Архитектура
qwen3_vl · dense
Библиотека
diffusers
Опубликована
10 мая 2026

HiDream-O1-Image-Dev-FP8

Генерация изображенийИзображение, текст → изображение5 профессий

Дистиллированная модель генерации и редактирования изображений HiDream-O1 в смешанном формате FP8 для локального запуска с меньшими требованиями к видеопамяти.

2 651скачиваний за 30 дней6лайковвеса обновлены10 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HiDream-O1-Image-Dev-FP8 — вариант модели HiDream-O1-Image-Dev от drbaph, предназначенный для локального запуска через Diffusers и ComfyUI. Это смешанная FP8-квантизация дистиллированной модели HiDream-O1-Image-Dev, основанной на HiDream-O1-Image. Веса хранятся в FP8, а чувствительные слои сохраняют более высокую точность; для запуска требуется около 10 ГБ видеопамяти.

Модель объединяет генерацию изображений и обработку условий в Pixel-level Unified Transformer без внешнего VAE и отдельных текстовых энкодеров. Она поддерживает создание изображений по тексту, редактирование по инструкциям, персонализацию по нескольким референсам, раскадровки и многоязычную отрисовку текста; заявлено разрешение до 2048 × 2048 пикселей. Dev-вариант использует 28 шагов, Euler scheduler и отключённое CFG, поэтому негативные промпты на него не влияют.

Квантизация снижает требования к видеопамяти, а дистиллированный режим рассчитан на более быстрый вывод. README указывает, что на RTX 40xx и H100 вычисления FP8 ускоряются аппаратно; на более старых GPU возможна небольшая потеря скорости при деквантизации на лету. Модель распространяется по лицензии MIT.

Сценарии применения

  • создание изображений по текстовому описанию
  • редактирование изображения по инструкции
  • персонализация изображений по нескольким референсам
  • создание раскадровок
  • отрисовка многоязычного текста в изображениях

Ограничения

Негативные промпты не влияют на Dev-вариант, поскольку CFG отключён. На старых GPU вычисления FP8 могут быть медленнее из-за деквантизации весов на лету.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

HiDream-O1-Image-Dev — FP8 Mixed (ComfyUI)

This is the FP8 mixed-precision quantization of HiDream-ai/HiDream-O1-Image-Dev — the distilled variant of HiDream-O1-Image — for use with ComfyUI. This is the most accessible variant: only ~10 GB VRAM and just 28 steps, making it the fastest way to run HiDream O1 locally.

image

Custom ComfyUI Node: Saganaki22/HiDream_O1-ComfyUI

Screenshot 2026-05-10 005045


Dev vs Full — Key Differences

Full ModelDev Model (this repo)
Inference Steps5028
Guidance Scale (CFG)5.00.0 (disabled)
Shift3.01.0
SchedulerFlowUniPCMultistepSchedulerFlashFlowMatchEulerDiscreteScheduler
SpeedSlower, more detail~2× faster

The Dev model uses a custom Euler scheduler with built-in noise scaling tuned for fewer steps. CFG is disabled — negative prompts have no effect in Dev mode.


VRAM Requirements

PrecisionApproximate VRAM
BF1617 – 20 GB
FP1617 – 20 GB
FP8 Mixed (this repo)~10 GB

This is the recommended variant for GPUs with less than 16 GB VRAM. Combined with the Dev model's 28-step schedule, it is the lowest-cost way to run HiDream O1 — roughly 2× faster and half the VRAM of the full BF16 model.

What is FP8 Mixed? Weights are stored in float8_e4m3fn. Sensitive layers (norms, embeddings, output heads) retain higher precision for stability. On RTX 40xx / H100 (Hopper/Ada), FP8 compute is hardware-accelerated. On older GPUs, weights dequantize on-the-fly — still saving VRAM, with a small speed penalty. Do not set config.json dtype to float8_e4m3fn; keep it as bfloat16 — the node detects FP8 from the safetensors tensors directly.


Quick Start — ComfyUI

1. Install the Custom Node

cd ComfyUI/custom_nodes
git clone https://github.com/Saganaki22/HiDream_O1-ComfyUI.git
cd HiDream_O1-ComfyUI
python -m pip install -r requirements.txt

Or search for HiDream O1 in ComfyUI Manager.

Suggested transformers version: 4.57.1 – 5.3 (newer versions may break compatibility).

2. Download the Weights

Download the entire model folder (all files, not just the safetensors) and place it in ComfyUI/models/diffusion_models/:

huggingface-cli download drbaph/HiDream-O1-Image-Dev-FP8 \
    --local-dir ComfyUI/models/diffusion_models/HiDream-O1-Image-Dev-fp8

The folder must contain the full Hugging Face support files alongside the weights: config.json, chat_template.json, generation_config.json, preprocessor_config.json, tokenizer.json, tokenizer_config.json, vocab.json, merges.txt, model.safetensors

3. Load in ComfyUI

Use the workflow provided in the custom node repository. The loader will detect dev in the folder name and automatically apply Dev settings (28 steps, no CFG, Euler scheduler). Point the model loader to HiDream-O1-Image-Dev-fp8.

For the fastest inference on supported hardware, set precision to fp8_e4m3fn_fast in the model loader node.


About HiDream-O1-Image

HiDream-O1-Image is a natively unified image generative foundation model built on a Pixel-level Unified Transformer (UiT) — no external VAEs, no disjoint text encoders. It encodes raw pixels, text, and task-specific conditions in a single shared token space, supporting:

  • Text-to-image generation up to 2,048 × 2,048
  • Instruction-based image editing
  • Subject-driven personalization (multi-reference IP)
  • Long-text and multilingual text rendering

At only 9B parameters it matches or exceeds much larger open-source DiTs and leading closed-source models. It debuted at #8 in the Artificial Analysis Text to Image Arena (2026-05-05).


Key Features

  • 🧬 Pixel-Level Unified Transformer — end-to-end on raw pixels, no VAE, no disjoint text encoder
  • 🎨 One Model, Many Tasks — T2I, editing, personalization, storyboard generation
  • ⚡ 28-Step Distilled Dev — ~2× faster than the full model with minimal quality trade-off
  • 💾 FP8 Quantized — ~half the VRAM of full-precision variants
  • 🖼️ Native High Resolution — direct synthesis up to 2,048 × 2,048

All Model Variants

Full Model

RepoPrecisionVRAMSteps
drbaph/HiDream-O1-Image-BF16BF1617–20 GB50
drbaph/HiDream-O1-Image-FP16FP1617–20 GB50
drbaph/HiDream-O1-Image-FP8FP8 Mixed~10 GB50

Dev Model (distilled, faster)

RepoPrecisionVRAMSteps
drbaph/HiDream-O1-Image-Dev-BF16BF1617–20 GB28
drbaph/HiDream-O1-Image-Dev-FP16FP1617–20 GB28
drbaph/HiDream-O1-Image-Dev-FP8 (this repo)FP8 Mixed~10 GB28

License

The original HiDream-O1-Image model and code are released under the MIT License. This FP8 quantization inherits the same license.


Links

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Задача «image-text-to-image» пока не поддерживается рантаймом.

Класс архитектуры
Qwen3VLForConditionalGeneration
Ревизия весов
856f6a8

0 моделей