/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
diffusers
Опубликована
27 авг 2025

Step1X-Edit-v1p1-diffusers

Преобразование изображенийИзображение, текст → изображение3 профессии

Модель StepFun AI для редактирования изображений по текстовым инструкциям и генерации изображений по текстовому описанию.

173скачиваний за 30 дней5лайковвеса обновлены1 сен 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Step1X-Edit-v1p1-diffusers — модель StepFun AI для редактирования изображений по текстовым инструкциям. Она использует MLLM для интерпретации запроса и генерации токенов редактирования, а затем декодирует их в изображение с помощью сети на основе DiT. Версия v1.1 также поддерживает генерацию изображений по тексту.

Модель предназначена для изменения загруженного изображения по запросу и создания изображения по текстовому описанию. В README сообщается об улучшении качества редактирования и следования инструкциям относительно версии v1.0; приведены результаты оценки на GEdit-Bench-EN. Репозиторий использует библиотеку Diffusers и содержит веса в формате safetensors. Лицензия — Apache-2.0.

Сценарии применения

  • изменение объектов и деталей изображения по текстовой инструкции
  • редактирование изображений с сохранением заданного содержимого
  • создание изображения по текстовому описанию
  • выполнение пользовательских запросов на редактирование изображений

Ограничения

Указана оценка на англоязычном GEdit-Bench, но результатов для других языков и условий применения README не приводит. Контекстное окно и число параметров в предоставленных данных не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🔥🔥🔥 News!!

  • Jul 09, 2025: 👋 We updated the step1x-edit model and released it as step1x-edit-v1p1:
    • Added support for text-to-image (T2I) generation tasks
    • Improved image editing quality and better instruction-following performance. Quantitative evaluation on GEdit-Bench-EN (Full set). G_SC, G_PQ, and G_O refer to the metrics evaluated by GPT-4.1, while Q_SC, Q_PQ, and Q_O refer to the metrics evaluated by Qwen2.5-VL-72B. To facilitate reproducibility, we have released the intermediate results of our model evaluations.
      ModelsG_SC ⬆️G_PQ ⬆️G_O ⬆️Q_SC ⬆️Q_PQ ⬆️Q_O ⬆️
      Step1X-Edit (v1.0)7.137.006.447.397.287.07
      Step1X-Edit (v1.1)7.667.356.977.657.417.35
  • Apr 25, 2025: 👋 We release the inference code and model weights of Step1X-Edit. inference code
  • Apr 25, 2025: 🎉 We have made our technical report available as open source. Read

🧩 Model Usages

Install the diffusers package from the following command:

git clone -b step1xedit https://github.com/Peyton-Chen/diffusers.git
cd diffusers
pip install -e .

Here is an example for using the Step1XEditPipeline class to edit images:

import torch
from diffusers import Step1XEditPipeline
from diffusers.utils import load_image


pipe = Step1XEditPipeline.from_pretrained("stepfun-ai/Step1X-Edit-v1p1-diffusers", torch_dtype=torch.bfloat16)
pipe.to("cuda")

print("=== processing image ===")
image = load_image("examples/0000.jpg").convert("RGB")
prompt = "给这个女生的脖子上戴一个带有红宝石的吊坠。"
image = pipe(
    image=image,
    prompt=prompt,
    num_inference_steps=28,
    true_cfg_scale=6.0,
    generator=torch.Generator().manual_seed(42),
).images[0]
image.save("0000.jpg")

The results will look like:

📑 Model introduction

Framework of Step1X-Edit. Step1X-Edit leverages the image understanding capabilities of MLLMs to parse editing instructions and generate editing tokens, which are then decoded into images using a DiT-based network.More details please refer to our technical report.

We release GEdit-Bench as a new benchmark, grounded in real-world usages is developed to support more authentic and comprehensive evaluation. This benchmark, which is carefully curated to reflect actual user editing needs and a wide range of editing scenarios, enables more authentic and comprehensive evaluations of image editing models. Part results of the benchmark are shown below:

Citation

@article{liu2025step1x-edit,
      title={Step1X-Edit: A Practical Framework for General Image Editing}, 
      author={Shiyu Liu and Yucheng Han and Peng Xing and Fukun Yin and Rui Wang and Wei Cheng and Jiaqi Liao and Yingming Wang and Honghao Fu and Chunrui Han and Guopeng Li and Yuang Peng and Quan Sun and Jingwei Wu and Yan Cai and Zheng Ge and Ranchen Ming and Lei Xia and Xianfang Zeng and Yibo Zhu and Binxing Jiao and Xiangyu Zhang and Gang Yu and Daxin Jiang},
      journal={arXiv preprint arXiv:2504.17761},
      year={2025}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Модели «картинка → картинка» пока не запускаются.

Ревизия весов
378a128

0 моделей