Характеристики

Размер весов: 1,1 ГБ
Лицензия: Apache 2.0
Базовая модель: FLUX.1-dev
Библиотека: diffusers
Опубликована: 23 окт 2024

Ссылки

Hugging Face

flux-ip-adapter-v2

XLabs-AI

Преобразование изображенийИзображение, текст → изображение3 профессии

XLabs-AI/flux-ip-adapter-v2 — адаптер IP-Adapter для модели FLUX.1-dev, разработанной Black Forest Labs.

5 216скачиваний за 30 дней326лайковвеса обновлены24 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Он предназначен для генерации и преобразования изображений с использованием входного изображения как визуального условия, чтобы влиять на содержание и стиль результата. Модель поддерживает сценарии image-to-image и может применяться через официальный репозиторий XLabs-AI или пользовательские узлы для ComfyUI.

Адаптер обучался с сохранением соотношения сторон на разрешении 512×512 в течение 150 тысяч шагов и на разрешении 1024×1024 в течение 350 тысяч шагов. Для работы в ComfyUI требуются совместимые узлы x-flux-comfyui и модель визуального энкодера CLIP-L на базе OpenAI CLIP ViT-L/14. Выпущенная версия v2 предназначена для непосредственного использования в ComfyUI. В README указаны английский язык и обучающие наборы CaptionEmporium/coyo-hd-11m-llavanext и CortexLM/midjourney-v6; сведения о размере параметров, точном устройстве архитектуры и длине контекста не приведены.

К сильным сторонам относятся управление генерацией на основе референсных изображений, поддержка рабочих процессов FLUX.1-dev и интеграция с ComfyUI. Модель находится в статусе beta: качество результата не гарантируется с первой попытки, а для улучшения генераций может потребоваться многократный подбор силы воздействия IP-Adapter. В начале README указана лицензия Apache-2.0, однако далее уточняется, что веса распространяются на условиях некоммерческой лицензии FLUX.1-dev; перед использованием следует руководствоваться условиями лицензии базовой модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This repository provides a IP-Adapter checkpoint for FLUX.1-dev model by Black Forest Labs

See our github for comfy ui workflows.

Models

The IP adapter is trained on a resolution of 512x512 for 150k steps and 1024x1024 for 350k steps while maintaining the aspect ratio. We release v2 version - which can be used directly in ComfyUI!

Please, see our ComfyUI custom nodes installation guide

Examples

See examples of our models results below.
Also, some generation results with input images are provided in "Files and versions"

Inference

To try our models, you have 2 options:

Use main.py from our official repo
Use our custom nodes for ComfyUI and test it with provided workflows (check out folder /workflows)

Instruction for ComfyUI

Go to ComfyUI/custom_nodes
Clone x-flux-comfyui, path should be ComfyUI/custom_nodes/x-flux-comfyui/*, where * is all the files in this repo
Go to ComfyUI/custom_nodes/x-flux-comfyui/ and run python setup.py
Update x-flux-comfy with git pull or reinstall it.
Download Clip-L model.safetensors from OpenAI VIT CLIP large, and put it to ComfyUI/models/clip_vision/*.
Download our IPAdapter from huggingface, and put it to ComfyUI/models/xlabs/ipadapters/*.
Use Flux Load IPAdapter and Apply Flux IPAdapter nodes, choose right CLIP model and enjoy your genereations.
You can find example workflow in folder workflows in this repo.

If you get bad results, try to set to play with ip strength

Limitations

The IP Adapter is currently in beta. We do not guarantee that you will get a good result right away, it may take more attempts to get a result.

License

Our weights fall under the FLUX.1 [dev] Non-Commercial License

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Модели «картинка → картинка» пока не запускаются: нужен ввод изображения для diffusion.

Ревизия весов: d1507fa