/ Модель

Характеристики

Лицензия
MIT
Библиотека
transformers
Опубликована
29 июл 2025

Skywork-UniPic-1.5B

Мультимодальная модель3 профессии

Skywork-UniPic-1.5B — мультимодальная модель для понимания изображений, генерации изображений по тексту и редактирования изображений.

69скачиваний за 30 дней116лайковвеса обновлены8 сен 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Skywork-UniPic-1.5B — авторегрессионная мультимодальная модель Skywork с 1,5 млрд параметров, обученная с нуля. Она объединяет понимание изображений, генерацию изображений по тексту и редактирование изображений в одной архитектуре. Репозиторий использует Transformers и содержит веса в форматах PyTorch и safetensors; заявлена лицензия MIT.

Модель предназначена для ответов на запросы об изображениях, создания изображений по текстовым описаниям и редактирования изображений по инструкциям. В README приведены результаты бенчмарков GenEval, DPG-Bench и GEditBench-EN. Редактирование изображений описано как исследовательская возможность, ещё не готовая к производственному применению.

Сценарии применения

  • ответы на вопросы о содержимом изображения
  • генерация изображения по текстовому описанию
  • редактирование изображения по текстовой инструкции

Ограничения

Редактирование изображений в README обозначено как экспериментальная возможность, не готовая к производственному применению. Языки модели и ограничения других режимов в предоставленных материалах не описаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🌌 Skywork-UniPic-1.5B


📖 Introduction

Skywork-UniPic is a unified autoregressive multimodal model with 1.5 billion parameters, capable of handling three key vision-language tasks within a single architecture:

  • 🖼️ Image Understanding
  • 🎨 Text-to-Image Generation
  • ✏️ Image Editing

Trained from scratch on a large-scale multimodal corpus, UniPic is designed to support a wide range of unified image-text tasks efficiently.


📊 Benchmarks

Skywork-UniPic achieves competitive results across a variety of vision-language tasks:

TaskScore
🧠 GenEval0.86
🖼️ DPG-Bench85.5
✂️ GEditBench-EN5.83
🧪 ImgEdit-Bench3.49

🧠 Usage

1. Clone the Repository

git clone https://github.com/SkyworkAI/UniPic
cd UniPic-1

2. Set Up the Environment

conda create -n unipic python=3.10.14
conda activate unipic
pip install -r requirements.txt

3.Text-to-Image Generation

export PYTHONPATH=./:$PYTHONPATH

python scripts/text2image.py configs/models/qwen2_5_1_5b_kl16_mar_h.py \
  --checkpoint checkpoint/pytorch_model.bin \
  --image_size 1024 \
  --prompt "A glossy-coated golden retriever stands on the park lawn beside a life-sized penguin statue." \
  --output output.jpg

4. Image Editing

The image editing feature within this unified model is an exploratory module at the forefront of research. And it is not yet production-ready.

export PYTHONPATH=./:$PYTHONPATH

python scripts/image_edit.py configs/models/qwen2_5_1_5b_kl16_mar_h.py \
  --checkpoint checkpoint/pytorch_model.bin \
  --image_size 1024 \
  --image data/sample.png \
  --prompt "Replace the stars with the candle." \
  --output output.jpg

📄 License

This model is released under the MIT License.

Citation

If you use Skywork-UniPic in your research, please cite:

@misc{wang2025skyworkunipicunifiedautoregressive,
      title={Skywork UniPic: Unified Autoregressive Modeling for Visual Understanding and Generation}, 
      author={Peiyu Wang and Yi Peng and Yimeng Gan and Liang Hu and Tianyidan Xie and Xiaokun Wang and Yichen Wei and Chuanxin Tang and Bo Zhu and Changshi Li and Hongyang Wei and Eric Li and Xuchen Song and Yang Liu and Yahui Zhou},
      year={2025},
      eprint={2508.03320},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2508.03320}, 
}

@misc{wei2025skyworkunipic20building,
      title={Skywork UniPic 2.0: Building Kontext Model with Online RL for Unified Multimodal Model}, 
      author={Hongyang Wei and Baixin Xu and Hongbo Liu and Cyrus Wu and Jie Liu and Yi Peng and Peiyu Wang and Zexiang Liu and Jingwen He and Yidan Xietian and Chuanxin Tang and Zidong Wang and Yichen Wei and Liang Hu and Boyi Jiang and William Li and Ying He and Yang Liu and Xuchen Song and Eric Li and Yahui Zhou},
      year={2025},
      eprint={2509.04548},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2509.04548}, 
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Any-to-any модели пока не поддерживаются.

Ревизия весов
09991ea

0 моделей