I.8Изображения и компьютерное зрение

Карточка модели worksimpli/HiDream-O1-Image-endpoint на Hugging Face совпадает с карточкой HiDream-ai/HiDream-O1-Image, поэтому описание составлено по ней. HiDream-O1-Image — модель генерации и редактирования изображений от HiDream, построенная на Pixel-level Unified Transformer (UiT). Она обрабатывает текст и пиксели в общем пространстве токенов, без внешнего VAE и отдельного текстового энкодера. В карточке семейства указана версия на 8 млрд параметров; модель создаёт изображения напрямую с разрешением до 2048 × 2048. Модель предназначена для генерации изображений по текстовому описанию, редактирования изображения по инструкции, персонализации с сохранением заданного персонажа или объекта, управления композицией и создания раскадровок. Встроенный агент рассуждений помогает уточнять требования к композиции и надписям; заявлена поддержка длинного текста и многоязычных надписей на изображениях. Метаданные классифицируют модель как image-text-to-image. В README описаны полная и дистиллированная Dev-версии; результаты и характеристики могут различаться между ними. Для запуска требуется GPU с поддержкой CUDA; авторы отмечают проблему с PyTorch 2.9.x и рекомендуют полную версию для редактирования. Репозиторий модели распространяется по лицензии MIT.

drbaph/HiDream-O1-Image-FP8 — вариант модели HiDream-O1-Image в смешанной точности FP8, подготовленный для запуска через ComfyUI. В README указано, что исходная модель разработана командой HiDream-ai и использует архитектуру Pixel-level Unified Transformer (UiT) с 9 млрд параметров: она работает с пикселями, текстом и условиями задачи в общем пространстве токенов, без внешнего VAE и отдельных текстовых энкодеров. По метаданным модель связана с архитектурой Qwen3-VL и использует библиотеку Diffusers. Модель предназначена для создания изображений по текстовому описанию, редактирования изображений по инструкциям, персонализации по нескольким референсам и генерации раскадровок. README заявляет генерацию с разрешением до 2048 × 2048, поддержку длинного текста и многоязычного текста на изображениях, а также встроенного агента рассуждения для уточнения компоновки перед генерацией. FP8-вариант хранит веса в формате float8_e4m3fn, сохраняя отдельные чувствительные слои в более высокой точности; в README для него указано около 10 ГБ видеопамяти и небольшое снижение качества относительно вариантов BF16 и FP16. Для работы рекомендуется ComfyUI с пользовательским узлом HiDream_O1-ComfyUI. Модель распространяется по лицензии MIT. Заявления о качестве и сравнении с другими моделями приведены в README как результаты исходной модели; отдельная независимая оценка именно этой FP8-квантизации не описана.

HierarCaps CLIP-B — дообученная модель CLIP ViT-B/32 на основе openai/clip-vit-base-patch32, связанная с работой «Emergent Visual-Semantic Hierarchies in Image-Text Representations» (ECCV 2024). Она предназначена для сопоставления изображений и текстовых описаний и классификации изображений по текстовым меткам без дообучения. Дообучение на наборе HierarCaps усиливает иерархическую организацию пространства эмбеддингов и помогает учитывать, насколько описание конкретно или обобщённо. Модель принимает изображения и текст, а выдаёт векторные представления для их сопоставления. Распространяется по лицензии MIT.

Это японская модель CLOOB (Contrastive Leave One Out Boost), разработанная компанией rinna Co., Ltd. Она предназначена для извлечения сопоставимых признаковых представлений изображений и текста: модель использует изображенческий энкодер ViT-B/16 и 12-слойный BERT-энкодер текста. В метаданных Hugging Face основная задача указана как feature-extraction; репозиторий содержит веса PyTorch и Safetensors. Модель обучена на CC12M с подписями, переведёнными на японский язык. Её можно применять для построения мультимодальных эмбеддингов, поиска изображений по японскому описанию и сопоставления изображений с текстом. Изображенческий энкодер инициализирован из AugReg vit-base-patch16-224. Для использования требуется совместимый код и зависимости; карточка ссылается на модель japanese-clip как на другие доступные модели семейства. Лицензия — Apache-2.0.

Krea 2 Turbo Edit GGUF — сборка модели генерации и редактирования изображений от ChrisColeTech на основе Krea 2 Turbo Edit от Krea AI. Она предназначена для создания изображений по текстовому запросу, преобразования исходного изображения и редактирования с сохранением личности объекта по одной или двум референсным картинкам и текстовой инструкции. В отличие от описания желаемого результата, для режима редактирования нужно формулировать конкретное изменение. Это дистиллированная модель с восемью шагами генерации; в репозитории представлены варианты GGUF Q4_K_M, Q6_K и Q8_0, а также safetensors. Сборка включает денойзер со встроенным identity LoRA, энкодер текста Qwen3-VL-4B и VAE Qwen-Image. Для работы предусмотрены режимы txt2img, img2img и edit; автор рекомендует разрешение 1024 × 1024 и guidance 1.0. Лицензия в метаданных не определена.

Карточка модели Jinstudio/LongCat-Image-Edit-Turbo на Hugging Face совпадает с карточкой meituan-longcat/LongCat-Image-Edit-Turbo, поэтому описание составлено по ней. LongCat-Image-Edit-Turbo — дистиллированная версия модели LongCat-Image-Edit для редактирования изображений. Она предназначена для преобразования входного изображения по текстовому запросу и выполняет генерацию за 8 вызовов модели, что снижает задержку вывода. Модель особенно поддерживает добавление текста на изображение: целевой текст следует заключать в одинарные или двойные кавычки, в том числе в китайском стиле кавычек. В карточке указаны форматы Diffusers и Safetensors и лицензия Apache-2.0.

Lumina-mGPT-7B-768 — мультимодальная авторегрессионная модель семейства Lumina-mGPT, представленная в репозитории Alpha-VLLM. Она предназначена для задач, объединяющих зрение и язык, и особенно ориентирована на генерацию фотореалистичных изображений по текстовым описаниям. Архитектура модели — плотная ChameleonXLLMXForConditionalGeneration; размер составляет 6,7 млрд параметров, максимальный контекст — 4096 токенов. Модель поддерживает мультимодальную генерацию и обработку данных, сочетая текст и изображения. В репозитории указаны веса safetensors; реализация и код для сэмплирования доступны в GitHub. Лицензия в предоставленных данных не указана.

MetaCLIP 2 ViT-B/16 (384px) worldwide — дистиллированная модель Meta, представленная в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Это чекпойнт ViT-B-16-384-worldwide из оригинальной реализации, предназначенный для классификации изображений по текстовым описаниям без предварительного обучения на заданных классах. Модель сопоставляет изображение с текстовыми метками и позволяет выбирать наиболее подходящие варианты; поддерживает многоязычные сценарии. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Это конверсия MetaCLIP 2 Worldwide в формате Keras 3 от zeromodels на основе facebook/metaclip-2-worldwide-b16-384. Модель с архитектурой CLIP использует два энкодера для сопоставления изображений и текстовых описаний и классификации изображений без заранее заданного набора классов. Реализация работает с TensorFlow, PyTorch и JAX. Модель рассчитана на многоязычную классификацию без обучения на конкретных классах: можно сравнивать изображение с текстовыми подсказками на разных языках. Worldwide-вариант использует словарь XLM-RoBERTa из 901 тысячи токенов; README рекомендует применять соответствующий модели процессор для согласования размера изображения и токенизатора. Лицензия CC-BY-NC-4.0 разрешает использование на некоммерческих условиях.

MobileCLIP-S2 — компактная модель сопоставления изображений и текста от Apple, представленная в работе MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training на CVPR 2024. Этот репозиторий содержит чекпойнт для timm в формате PyTorch. Модель предназначена для классификации изображений и распознавания объектов по текстовым описаниям без дополнительного обучения (zero-shot). Вариант S2 включает 35,7 млн параметров в визуальном энкодере и 63,4 млн в текстовом. По данным авторов, он показывает 74,4% точности top-1 на ImageNet в zero-shot режиме и в среднем 63,7% на 38 наборах данных; авторы также сообщают, что он быстрее и компактнее SigLIP ViT-B/16. Модель принимает изображения и текстовые описания, а для поиска и классификации сопоставляет их представления. Лицензия — Apple AMLR. В README не приведены сведения о длине контекста или перечне поддерживаемых естественных языков; результаты зависят от набора меток и описаний, используемых при zero-shot классификации.

Moondream 3 (Preview) — мультимодальная модель Moondream для анализа изображений и работы с текстом. Она принимает изображение и текстовый запрос, а также может использоваться как универсальная текстовая модель. Архитектура — Mixture of Experts: 9 млрд параметров всего, из них 2 млрд активны; визуальный энкодер основан на SigLIP. Модель имеет 24 слоя и контекстное окно до 32 тысяч токенов. Модель предназначена для ответов на вопросы об изображениях, создания подписей, поиска точек объектов и обнаружения объектов с ограничивающими рамками. Режим рассуждений включён по умолчанию; его можно отключить для простых запросов. Для локального запуска предлагается Transformers с FlexAttention, а также доступен облачный API. Moondream 3 выпущена как Preview, поэтому качество и поведение могут измениться. Веса распространяются по Business Source License 1.1 с Additional Use Grant: разрешены личное и исследовательское применение, внутреннее производственное использование и большинство коммерческих сценариев, но платные сервисы, конкурирующие с предложениями M87 Labs, требуют отдельного соглашения.

OneThinker-8B — мультимодальная модель рассуждений для задач анализа изображений и видео, представленная разработчиками проекта OneThinker. Она дообучена на базе Qwen/Qwen3-VL-8B-Instruct и построена на архитектуре Qwen3-VL с 8 млрд параметров. Модель объединяет несколько зрительных задач в одной системе: визуальные вопросы и ответы, математические задачи по изображениям, отслеживание объектов и сегментацию видео.

OpenCaption-4B-VL-SFT-v1.0 — мультимодальная модель для описания изображений, созданная prithivMLmods на базе Qwen/Qwen3-VL-4B-Instruct и дообученная методом SFT. Она использует архитектуру Qwen3-VL с 4 млрд параметров и принимает изображения для генерации текстовых описаний; карточка указывает английский язык. Модель ориентирована на развернутые подписи: она описывает композицию сцены, отношения и расположение объектов, их признаки и действия, освещение и фон. Её применяют для визуального анализа, объяснения взаимодействий в кадре и исследований качества подписей и визуального grounding; заявлена возможность локального запуска через Transformers. Выпуск обозначен как экспериментальный. Качество может меняться в зависимости от предметной области и стиля изображения, а модель способна галлюцинировать детали; она не предназначена для строгой проверки наличия объектов. Для лучших результатов README рекомендует использовать заданный авторами системный промпт. Лицензия — Apache-2.0.

openMaMMUT ViT-L/14 — модель семейства MaMMUT, опубликованная LAION и обученная Jenia Jitsev на DataComp-1.4B. Это визуально-языковая модель с архитектурой ViT-L/14 и разрешением изображений 224 пикселя; обучение проводилось на 12,8 млрд примеров. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений и подписей к ним, а также генерации описаний изображений. Для ImageNet-1k заявлена точность zero-shot top-1 80,34%; для поиска на MS-COCO — Recall@5 71,19% по изображениям и 85,88% по тексту. Модель принимает изображения и текстовые запросы, а выдаёт оценки соответствия и текстовые описания. В карточке указана поддержка английского языка; применение для других языков не оценивалось. Доступны веса PyTorch и Safetensors для Transformers; для OpenCLIP требуется специальная ветка с поддержкой MaMMUT. Авторы позиционируют модель как исследовательский артефакт и не рекомендуют развёртывание в конечных продуктах без тщательной проверки на конкретной задаче. Применение для наблюдения и распознавания лиц исключено из области использования. Лицензия — Apache-2.0.

Qwen-Image-2.1-Heretic-mlx-4bit — производная от Qwen/Qwen-Image-2.1 модель генерации и редактирования изображений, подготовленная для запуска на компьютерах Apple Silicon через MLX. В ней используется текстовый энкодер Heretic; веса имеют точность 4 бита и занимают около 9,6 ГБ на диске. Модель предназначена для создания изображений по текстовому описанию и редактирования изображений с несколькими референсами. Поддерживаются прозрачный вывод в формате RGBA и ускорение Metal на Apple Silicon; для дополнительного ускорения можно использовать Viggle Turbo LoRA. В карточке заявлена работа с английским и китайским языками. Указанная лицензия — other, поэтому условия использования следует уточнить в репозитории модели.

Qwen-Image-2.1-Heretic-mlx-8bit — 8-битная версия Qwen-Image-2.1 для запуска на компьютерах Apple Silicon через MLX и библиотеку mflux. Репозиторий включает текстовый энкодер Heretic; размер файлов составляет около 16,6 ГБ. Модель предназначена для генерации изображений по текстовому запросу и редактирования изображений с несколькими референсами. Поддерживает создание изображений с прозрачностью RGBA и может использоваться с опциональным ускорителем Viggle Turbo LoRA. По описанию автора, версия сохраняет более 95% деталей исходной модели при меньших требованиях к диску и памяти. Базовая модель — Qwen/Qwen-Image-2.1. В метаданных указана лицензия other; конкретные условия следует сверить с файлами лицензии репозитория и базовой модели.

Qwen-Image-2.1-Heretic-mlx-bf16 — версия модели Qwen-Image-2.1, подготовленная для запуска через MLX на компьютерах Apple Silicon. В репозитории указаны точность bfloat16 и размер около 29,3 ГБ; для ускорения используется Metal. Текстовый энкодер заменён на Heretic-версию pottokao/Qwen-Image-2.1-Text-Encoder-Heretic. Модель предназначена для генерации изображений по текстовым описаниям и редактирования изображений с несколькими референсами. Она также поддерживает создание изображений с альфа-каналом и прозрачным фоном. В README упомянута возможность ускорения с помощью Viggle Turbo LoRA. Базовая модель Qwen-Image-2.1 поддерживает генерацию и редактирование изображений; метаданные указывают английский и китайский языки. В карточке указана лицензия other; конкретные условия использования в предоставленных данных не раскрыты. Для запуска требуется библиотека mflux и совместимое оборудование Apple Silicon. Полная точность bfloat16 требует около 29,3 ГБ места на диске.

QuantStack/Qwen-Image-Edit-2509-GGUF — это квантованная версия модели Qwen/Qwen-Image-Edit-2509, преобразованная в формат GGUF. В README не указано, что QuantStack является разработчиком исходной модели; модель основана на разработке Qwen. Она предназначена для задач редактирования изображений по текстовым инструкциям и работы в сценариях image-to-image, в частности через ComfyUI с пользовательским узлом ComfyUI-GGUF. Модель использует основной компонент Qwen-Image, текстовый энкодер Qwen2.5-VL-7B или совместимый Qwen2.5-VL-7B-Instruct, отдельный mmproj-компонент и VAE Qwen-Image. Поддерживаются английский и китайский языки. Точный размер квантованной модели, диапазон контекстного окна, полный набор модальностей и другие архитектурные характеристики в README не указаны. Квантование может снизить требования к ресурсам, однако конкретные компромиссы между качеством и производительностью зависят от выбранного варианта квантизации. Для использования требуются ComfyUI, совместимый узел ComfyUI-GGUF, основной файл модели, текстовый энкодер и VAE, размещённые в соответствующих каталогах ComfyUI. Доступны варианты квантизации, включая Q2_K, Q3_K_M, Q3_K_S, Q4_0, Q4_1, Q4_K_S и Q4_K_M. Лицензия — Apache-2.0; для квантованной версии сохраняются исходные лицензионные условия и ограничения использования модели Qwen/Qwen-Image-Edit-2509.

Qwen-Image-Edit-2511-Unblur-Upscale — экспериментальный адаптер LoRA, разработанный prithivMLmods для базовой модели Qwen/Qwen-Image-Edit-2511 от Qwen. Он предназначен для задач преобразования изображений, связанных с устранением размытия и увеличением разрешения, а также для восстановления мелких деталей на низкокачественных или размытых изображениях. Адаптер используется с image-to-image pipeline на базе Diffusers и активируется текстовым запросом «unblur and upscale». Заявленные эффекты включают повышение резкости, восстановление деталей, сохранение естественных текстур, реалистичных цветов и визуальной согласованности освещения и контуров. В карточке указано, что модель ориентирована на английский язык; сведения о размере, точном устройстве базовой архитектуры, максимальном контексте и поддерживаемых модальностях, помимо обработки изображений, не приведены. Модель может быть полезна для улучшения фотографий и других изображений, однако её результаты не гарантированы: адаптер экспериментальный и способен ошибаться. По данным карточки, базовая модель обычно обеспечивает более высокое общее качество, но хуже сохраняет лицевые паттерны при восстановлении частично размытых изображений. Лицензия — Apache-2.0.

prithivMLmods/Qwen-Image-Edit-Rapid-AIO-V21 — совместимые с Diffusers веса трансформера для ускоренного редактирования изображений на основе Qwen Image Edit. Модель получена из Phr00t/Qwen-Image-Edit-Rapid-AIO-NSFW-V21 и предназначена для редактирования изображений за небольшое число шагов генерации; в карточке упомянуты тесты на 4 шагах, а для версии v21 отмечена лучшая работа при 6–8 шагах или больше. Автор README считает v19 лучшей по общей производительности. Это дообученная версия Phr00t/Qwen-Image-Edit-Rapid-AIO, распространяемая в формате safetensors и рассчитанная на использование с библиотекой Diffusers. Лицензия — Apache-2.0. В метаданных указан английский язык карточки; язык текстовых инструкций для редактирования отдельно не подтверждён.

ChrisColeTech/qwen-image-edit-turbo-GGUF — это квантизированная сборка Qwen-Image-Edit-2511 для управляемого редактирования и генерации изображений. Модель содержит около 20 млрд параметров, поставляется в формате GGUF с разделённой компоновкой весов и включает предварительно объединённую Lightning LoRA для работы за 8 шагов. Поддерживаются режимы txt2img и img2img: модель может создавать изображения по текстовому описанию, применять к исходному изображению инструкции по изменению объектов, фона и стиля, а также преобразовывать визуальный стиль с сохранением композиции. Сборка рассчитана на работу трансформера на одной видеокарте с 24 ГБ памяти и использует CFG-free режим с guidance 1.0 и true_cfg_scale 1.0. К сильным сторонам относятся высокая скорость благодаря дистилляции, сохранение исходной сцены и положения объектов при редактировании, а также поддержка фотореалистичных и художественных преобразований. Ограничения включают необходимость совместимого программного окружения для GGUF, отсутствие сведений о поддерживаемых языках и максимальном контексте, а также то, что параметр strength для img2img, согласно README, не влияет на результат и не требуется. Лицензия в карточке указана как unknown; модель описана как переупакованные и переквантизированные веса без дополнительного обучения.

SigLIP-HD — визуальный энкодер, созданный на основе SigLIP 2 So400m/16-512px и дообученный с fine-to-coarse supervision. Репозиторий содержит только энкодер изображений, без текстовой башни; архитектура и интерфейс ввода-вывода совместимы с визуальной частью SigLIP 2, поэтому модель можно использовать как её замену в мультимодальном конвейере. Модель предназначена для извлечения признаков изображений и интеграции в мультимодальные большие языковые модели. В карточке отмечено улучшение результатов по сравнению с SigLIP 2 в составе таких систем, особенно для сценариев OCR. Размер модели — 544,9 млн параметров; для работы доступны веса Safetensors и библиотека Transformers. Модель распространяется по лицензии MIT. Поскольку в репозитории нет текстовой башни, сама по себе она не выполняет сопоставление изображения с текстом или генерацию ответов: для этих сценариев требуется подходящая текстовая модель и мультимодальный конвейер.

KiwiXR/stable-diffusion-v1-5 — перепубликация модели Stable Diffusion v1.5, разработанной Robin Rombach и Patrick Esser. Это латентная диффузионная модель, которая создаёт и изменяет изображения по текстовым запросам. Версия репозитория для Diffusers содержит веса в форматах PyTorch и safetensors; в копии отсутствует файл non-EMA весов UNet в формате safetensors, но доступна версия bin. Исходный чекпойнт основан на Stable Diffusion v1.2 и дообучен на 595 тысячах шагов при разрешении 512×512 на данных LAION Aesthetics v2 5+. Для кодирования текста используется CLIP ViT-L/14. Модель лучше работает с английскими запросами; русский язык и другие неанглийские языки поддерживаются хуже. Лицензия — CreativeML OpenRAIL-M. Модель подходит для создания иллюстраций и фотореалистичных изображений, а также редактирования изображений по текстовым описаниям. Она может ошибаться в композиционно сложных сценах, плохо генерирует читаемый текст и не всегда корректно изображает людей. Обучающие данные содержат материалы для взрослых, а сама модель может воспроизводить предвзятости и запоминать некоторые изображения; для безопасного применения рекомендуется использовать Safety Checker.

stable-diffusion-xl-base-1.0-GGUF — GGUF-квантизированная версия базовой модели Stable Diffusion XL 1.0, разработанной Stability AI. Модель предназначена для генерации и изменения изображений по текстовым запросам и относится к моделям латентной диффузии. Базовую модель можно использовать самостоятельно, а для финального улучшения изображения — совместно с отдельной моделью SDXL Refiner 1.0. Архитектура использует ансамбль экспертов и два фиксированных предварительно обученных текстовых энкодера: OpenCLIP ViT-G/14 и CLIP ViT-L/14. Доступны варианты квантования основной модели FP16, Q8_0, Q4_1 и Q4_0; текстовые энкодеры и VAE представлены в FP16. В сборке используется VAE из sdxl-vae-fp16-fix. Модель поддерживает текстовую генерацию изображений и сценарии img2img через двухэтапный процесс с повышением разрешения. Данные о размере модели, максимальной длине контекста и поддерживаемых языках в README не указаны. Сильные стороны модели — более высокое качество по сравнению с предыдущими версиями Stable Diffusion, возможность самостоятельного применения базовой модели и снижение требований к памяти благодаря квантованным вариантам. Ограничение данной сборки состоит в экспериментальной поддержке только через gpustack/llama-box версии v0.0.75 или новее. Модель распространяется по лицензии CreativeML Open RAIL++-M License.

Stable Virtual Camera — диффузионная модель Stability AI с архитектурой Transformer и 1,3 млрд параметров для синтеза новых ракурсов сцены. На вход подаются один или несколько снимков и целевые положения камер; модель генерирует последовательность согласованных видов, которую можно направлять по произвольной траектории камеры. Модель предназначена для синтеза новых видов, творческих и дизайнерских инструментов, образовательных приложений и исследований реконструкции сцен. Она поддерживает значительные изменения ракурса и создаёт плавные во времени последовательности; заявлена генерация видео длительностью до 30 секунд с замыканием траектории в бесшовный цикл. В версии 1.1 исправлена проблема отделения объектов переднего плана от фона, отмечавшаяся в версии 1.0. Модель не предназначена для создания фактически достоверных изображений людей или событий. В карточке указаны исследовательское и некоммерческое применение, а также соблюдение Acceptable Use Policy; лицензия в метаданных обозначена как other.

Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese-i1-GGUF — квантизированная версия модели Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese, разработанной IDEA-CCNL и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для задач сопоставления изображений и текста и извлечения мультимодальных признаков, включая поиск по изображениям и текстовым описаниям, классификацию по текстовым подсказкам и вычисление сходства между модальностями. По названию и описанию это CLIP-модель с текстовым энкодером на базе RoBERTa и визуальным энкодером ViT-L; заявленный размер текстовой части составляет около 102 миллионов параметров. Основная языковая специализация — китайский язык, однако в метаданных README указан язык en. Размер контекста, точные параметры визуального энкодера, поддерживаемые языки и результаты оценки качества не приведены. Преимущество модели — компактное GGUF-представление с большим выбором уровней квантизации, что позволяет выбирать компромисс между размером, скоростью и качеством, включая рекомендуемые варианты Q4_K_M и Q4_K_S. Ограничения связаны с потерями качества при низкобитной квантизации; некоторые варианты в README прямо отмечены как низкокачественные. Лицензия — Apache-2.0.

UMO — разработанная ByteDance Research система настройки изображений, основанная на объединении нескольких моделей. Она предназначена для генерации и кастомизации изображений по текстовому описанию с сохранением внешности нескольких заданных людей и снижением путаницы между их идентичностями. Метод использует глобальное сопоставление нескольких референсных изображений с результатами генерации и обучение с подкреплением для диффузионных моделей; доступны варианты на основе FLUX.1-dev, UNO и OmniGen2. В README заявлено, что подход улучшает сохранение идентичности и уменьшает смешение персонажей по сравнению с открытыми методами.

timm/vit_base_patch16_clip_224.laion400m_e32 — модель семейства CLIP с визуальным энкодером Vision Transformer ViT-B/16, обученная на датасете LAION-400M. Она доступна для использования через open_clip и timm; карточка указывает имя OpenCLIP ViT-B-16. Модель предназначена для классификации изображений по текстовым описаниям без отдельного обучения на каждом наборе классов. Её можно применять для поиска изображений по тексту и сопоставления изображений с категориями, заданными текстовыми метками. Репозиторий содержит веса PyTorch и safetensors, лицензия — MIT. В описании модели не приведены сведения о размере входа, поддерживаемых языках или количественных оценках качества; название timm указывает разрешение 224 пикселя. Результаты зависят от формулировок текстовых меток и домена изображений; карточка не сообщает об отдельной адаптации для узких областей.

timm/ViT-SO400M-14-SigLIP2-378 — контрастивная модель «изображение—текст» семейства SigLIP 2, обученная на наборе WebLI. Чекпойнт из исходных JAX-весов Big Vision преобразован для использования в OpenCLIP; модель предназначена для классификации изображений без дообучения по текстовым описаниям классов. Модель сопоставляет изображение с текстовыми вариантами и позволяет выбирать наиболее подходящее описание. Её можно применять для категоризации изображений по произвольным текстовым меткам и поиска изображений по смысловому соответствию. Репозиторий предоставляет веса PyTorch в формате safetensors и использует библиотеку OpenCLIP. Лицензия — Apache-2.0.

ALIGN base — мультимодальная модель Kakao Brain для сопоставления изображений и текста. Она использует архитектуру с двумя энкодерами: EfficientNet кодирует изображения, а BERT — текст; контрастивное обучение сближает представления соответствующих пар. Реализация повторяет архитектуру и гиперпараметры оригинальной ALIGN, но обучена на открытом наборе COYO-700M из 700 миллионов пар изображений и текстовых описаний. Модель предназначена для классификации изображений по произвольным текстовым меткам без обучения на конкретных классах, а также для мультимодального поиска и получения эмбеддингов изображений и текста. Её можно применять в исследованиях обобщения, устойчивости и смещений моделей компьютерного зрения. В карточке указана поддержка английского языка. Лицензия в предоставленных данных не указана.