/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
8,8 ГБ
Лицензия
MIT
Архитектура
qwen3_vl · dense
Библиотека
diffusers
Опубликована
14 мая 2026

HiDream-O1-Image-Dev-2604-FP8

Генерация изображенийИзображение, текст → изображение5 профессий

Квантованная версия FP8 модели HiDream-O1-Image-Dev-2604 для быстрой генерации и управления изображениями по тексту и визуальным условиям.

2 196скачиваний за 30 дней7лайковвеса обновлены14 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HiDream-O1-Image-Dev-2604-FP8 — квантованная версия в смешанной точности FP8 модели HiDream-ai/HiDream-O1-Image-Dev-2604 от HiDream.ai. Это 9-миллиардная модель для генерации и обработки изображений, рассчитанная на запуск через Diffusers и ComfyUI. Вариант Dev использует дистиллированный 28-шаговый режим; веса FP8 Mixed занимают около 10 ГБ видеопамяти, а чувствительные слои сохраняют более высокую точность. Архитектура исходной модели описана как Pixel-level Unified Transformer, работающий с пикселями, текстом и условиями задач в общем пространстве токенов.

Модель предназначена для генерации изображений по тексту, персонализации по изображению-образцу, управления размещением объектов и позой с помощью ограничивающих рамок и скелетных условий. Она поддерживает синтез с разрешением до 2048 × 2048 и многоязычную отрисовку текста. Для редактирования изображений по инструкциям README рекомендует полную версию модели; в Dev-режиме CFG отключён, поэтому негативные промпты не влияют на результат.

Репозиторий распространяется по лицензии MIT. README предупреждает о проблемах совместимости с PyTorch 2.9.x и рекомендует версии 2.8.x или ниже; ускорение FP8 зависит от видеокарты, а на старом оборудовании возможно снижение скорости из-за преобразования весов на лету.

Сценарии применения

  • создание изображений по текстовому описанию
  • генерация изображений с размещением объектов в заданных областях
  • управление позой персонажа по скелету OpenPose
  • персонализация изображения по объекту или персонажу-образцу
  • отрисовка многоязычного текста внутри изображений

Ограничения

Для редактирования изображений по инструкциям README рекомендует полную версию; в Dev-режиме негативные промпты не действуют из-за отключённого CFG. PyTorch 2.9.x имеет известные проблемы совместимости, а скорость FP8 на старых видеокартах может снижаться.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

HiDream-O1-Image-Dev-2604 — FP8 Mixed (ComfyUI)

This is the FP8 mixed-precision quantization of HiDream-ai/HiDream-O1-Image-Dev-2604 — the updated distilled Dev variant of HiDream-O1-Image released May 13, 2026 — for use with ComfyUI. At only ~10 GB VRAM and 28 steps, this is the most accessible way to run the latest HiDream O1 Dev update locally. 9B parameters.

⚠️ PyTorch 2.9.x is not recommended — known compatibility issues exist. Use 2.8.x or earlier.

⚠️ Editing note: For instruction-based image editing tasks, the upstream team recommends using the full model instead of Dev.

Custom ComfyUI Node: Saganaki22/HiDream_O1-ComfyUI


What's New in Dev-2604

  • Accelerated IP inference — faster subject-driven personalization
  • Layout conditioning — place subjects at specific bounding box regions
  • Skeleton conditioning — OpenPose-based pose control for try-on and character workflows
  • Updated editing scheduler — improved Dev editing behaviour

Dev vs Full — Key Differences

Full ModelDev-2604 (this repo)
Parameters9B9B
Inference Steps5028
Guidance Scale (CFG)5.00.0 (disabled)
Shift3.01.0
SchedulerFlowUniPCMultistepSchedulerFlashFlowMatchEulerDiscreteScheduler
SpeedSlower, more detail~2× faster

CFG is disabled in Dev mode — negative prompts have no effect.


VRAM Requirements

PrecisionApproximate VRAM
BF1617 – 20 GB
FP1617 – 20 GB
FP8 Mixed (this repo)~10 GB

This is the recommended variant for GPUs with less than 16 GB VRAM. Combined with the Dev model's 28-step schedule, it is the lowest-cost way to run HiDream O1 Dev-2604 — roughly 2× faster and half the VRAM of the full BF16 model.

What is FP8 Mixed? Weights are stored in float8_e4m3fn. Sensitive layers (norms, embeddings, output heads) retain higher precision for stability. On RTX 40xx / H100 (Hopper/Ada), FP8 compute is hardware-accelerated. On older GPUs, weights dequantize on-the-fly — still saving VRAM, with a small speed penalty. Do not set config.json dtype to float8_e4m3fn; keep it as bfloat16 — the node detects FP8 from the safetensors tensors directly.


Quick Start — ComfyUI

1. Install the Custom Node

cd ComfyUI/custom_nodes
git clone https://github.com/Saganaki22/HiDream_O1-ComfyUI.git
cd HiDream_O1-ComfyUI
python -m pip install -r requirements.txt

Or search for HiDream O1 in ComfyUI Manager.

Suggested transformers version: 4.57.1 – 5.3 (newer versions may break compatibility).

2. Download the Weights

Download the entire model folder (all files, not just the safetensors) and place it in ComfyUI/models/diffusion_models/:

huggingface-cli download drbaph/HiDream-O1-Image-Dev-2604-FP8 \
    --local-dir ComfyUI/models/diffusion_models/HiDream-O1-Image-Dev-2604-fp8

The folder must contain the full Hugging Face support files alongside the weights: config.json, chat_template.json, generation_config.json, preprocessor_config.json, tokenizer.json, tokenizer_config.json, vocab.json, merges.txt, model.safetensors

3. Load in ComfyUI

Use the workflow provided in the custom node repository. The loader will detect dev in the folder name and automatically apply Dev settings (28 steps, no CFG, Euler scheduler). Point the model loader to HiDream-O1-Image-Dev-2604-fp8.

For the fastest inference on supported hardware, set precision to fp8_e4m3fn_fast in the model loader node.


About HiDream-O1-Image

HiDream-O1-Image is a natively unified image generative foundation model built on a Pixel-level Unified Transformer (UiT) — no external VAEs, no disjoint text encoders. It encodes raw pixels, text, and task-specific conditions in a single shared token space, supporting:

  • Text-to-image generation up to 2,048 × 2,048
  • Instruction-based image editing (full model recommended)
  • Subject-driven personalization with layout and skeleton conditioning
  • Long-text and multilingual text rendering

It debuted at #8 in the Artificial Analysis Text to Image Arena (2026-05-05).


Key Features

  • 🧬 Pixel-Level Unified Transformer — end-to-end on raw pixels, no VAE, no disjoint text encoder
  • 🎨 One Model, Many Tasks — T2I, editing, personalization, layout, skeleton, storyboard
  • ⚡ 28-Step Distilled Dev — ~2× faster than the full model
  • 💾 FP8 Quantized — ~half the VRAM of full-precision variants
  • 🖼️ Native High Resolution — direct synthesis up to 2,048 × 2,048
  • 🧍 Skeleton & Layout Conditioning — OpenPose control and bounding-box subject placement

All Model Variants

Full Model

RepoPrecisionVRAMSteps
drbaph/HiDream-O1-Image-BF16BF1617–20 GB50
drbaph/HiDream-O1-Image-FP16FP1617–20 GB50
drbaph/HiDream-O1-Image-FP8FP8 Mixed~10 GB50

Dev Model (original)

RepoPrecisionVRAMSteps
drbaph/HiDream-O1-Image-Dev-BF16BF1617–20 GB28
drbaph/HiDream-O1-Image-Dev-FP16FP1617–20 GB28
drbaph/HiDream-O1-Image-Dev-FP8FP8 Mixed~10 GB28

Dev-2604 Model (updated, this series)

RepoPrecisionVRAMSteps
drbaph/HiDream-O1-Image-Dev-2604-BF16BF1617–20 GB28
drbaph/HiDream-O1-Image-Dev-2604-FP16FP1617–20 GB28
drbaph/HiDream-O1-Image-Dev-2604-FP8 (this repo)FP8 Mixed~10 GB28

License

The original HiDream-O1-Image model and code are released under the MIT License. This FP8 quantization inherits the same license.


Links

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Задача «image-text-to-image» пока не поддерживается рантаймом.

Класс архитектуры
Qwen3VLForConditionalGeneration
Ревизия весов
031578e

0 моделей