IV.1Ритейл, электронная коммерция и fashion-tech

LibreSAM2base-plus — зеркальная копия модели SAM 2.1 Hiera Base Plus, подготовленная LibreYOLO для уровня promptable-сегментации LibreSAM. Модель основана на facebook/sam2.1-hiera-base-plus и принимает изображение с визуальными подсказками, например координатами точек и их метками, чтобы построить маску выбранного объекта. Модель предназначена для сегментации объектов по подсказкам на изображениях. Репозиторий содержит совместимый с Transformers снимок весов в формате safetensors; согласно карточке, обученные параметры не изменены. Распространяется по лицензии Apache-2.0. В карточке показан сценарий обработки отдельного изображения. Сведения о сегментации видео в README не приведены, поэтому назначение модели здесь описано в пределах подтверждённого сценария.

LocateAnything-3B-GGUF — это GGUF-версия мультимодальной vision-language модели LocateAnything, разработанной NVIDIA в рамках семейства Eagle VLM. Модель предназначена для визуального grounding: локализации объектов по текстовому запросу, плотного обнаружения нескольких объектов, определения GUI-элементов, текстовых областей и точек на изображении. Она ориентирована на исследовательские и прикладные сценарии в робототехнике, автономном вождении, анализе документов, промышленной инспекции, наблюдении, дистанционном зондировании и построении мультимодальных агентов. Поддерживается английский язык. Архитектура основана на Qwen2.5-3B-Instruct в качестве языковой модели и vision encoder MoonViT-SO-400M. Ключевая особенность — Parallel Box Decoding: координаты ограничивающих рамок предсказываются параллельно за один шаг вместо авторегрессионного декодирования по токенам. Это повышает эффективность, сохраняет геометрическую согласованность и, по заявлению разработчиков, обеспечивает до 2,5 раза большую пропускную способность по сравнению с предыдущими подходами. Обучение проводилось на наборе из 12 млн изображений, более 138 млн запросов и 785 млн ограничивающих рамок из различных предметных областей. GGUF-сборка создана с использованием llama.cpp и включает экспериментальный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что может улучшать качество при заданном уровне квантования ценой увеличения размера файла. Ограничения включают исследовательский статус модели, неизвестные из карточки точные параметры контекстного окна и результаты бенчмарков для конкретных GGUF-квантований, а также зависимость качества от выбранного формата и уровня квантования. Модель распространяется по NVIDIA License для некоммерческого использования: разрешены академические и некоммерческие исследования, коммерческое применение запрещено, кроме NVIDIA и её аффилированных лиц.

Lucy Edit Dev — модель редактирования видео от Decart AI, выпущенная с открытыми весами. Она принимает видео и текстовую инструкцию и выполняет целевые изменения: заменяет одежду, аксессуары, персонажей и предметы или преобразует сцену, стараясь сохранить движение и композицию исходного ролика. Модель построена на архитектуре Wan2.2 5B и использует стек VAE с высоким сжатием и DiT; заявленный размер — около 5 млрд параметров. Для работы предусмотрен конвейер LucyEditPipeline в Diffusers. Наиболее удачны изменения одежды и замена персонажей или объектов сопоставимого размера. Точность зависит от формулировки: авторы рекомендуют подробные инструкции примерно на 20–30 слов; добавление объектов может приводить к их прикреплению к персонажу, а глобальные преобразования способны изменить его идентичность. README сообщает о выпуске весов и интеграции с Diffusers, но не приводит конкретную лицензию: в метаданных указана категория other, поэтому условия использования следует проверить отдельно.

kli017/majicMIX-realistic-v7 — модель генерации изображений по текстовому описанию, опубликованная пользователем kli017 на Hugging Face. Она предназначена для создания реалистичных изображений по промптам и работает через Diffusers StableDiffusionPipeline. Модель построена на архитектуре Stable Diffusion с компонентами CLIPTextModel, UNet2DConditionModel, AutoencoderKL и PNDMScheduler. Репозиторий содержит версии в форматах Safetensors и CKPT; размер файла весов Safetensors составляет около 2,13 ГБ. Модель принимает текстовые описания и генерирует изображения, например сцены, персонажей и предметные композиции. В карточке модели не указаны лицензия, поддерживаемые языки промптов, точное число параметров и длина контекста. Также отсутствуют сведения о специализированных доменах и официальных ограничениях.

MaxViT Large TF 384 — модель классификации изображений семейства MaxViT, обученная авторами статьи на ImageNet-1k и перенесённая из официальной реализации TensorFlow в PyTorch Россом Уайтманом для timm. Архитектура сочетает блоки MBConv с двумя видами self-attention: оконным и сеточным. Модель содержит около 212 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель предназначена для отнесения изображений к классам ImageNet-1k, а также может использоваться как визуальный backbone для извлечения признаков, карт признаков и эмбеддингов. Репозиторий предоставляет веса PyTorch и Safetensors; лицензия — Apache-2.0. Карточка не указывает отдельной специализации на конкретной прикладной области или поддержки языковых входов.

MaxViT XLarge TF 512 — модель Ross Wightman, перенесённая из официальной реализации TensorFlow в PyTorch и предназначенная для классификации изображений и извлечения визуальных признаков. Она предварительно обучена на ImageNet-21k и дообучена авторами оригинальной статьи на ImageNet-1k; для загрузки доступны веса PyTorch и safetensors. Архитектура MaxViT сочетает блоки MBConv с оконным и сеточным self-attention. Модель содержит около 475,8 млн параметров и рассчитана на входные изображения размером 512 × 512 пикселей. По данным карточки, точность классификации ImageNet-1k составляет 88,53% Top-1 и 98,64% Top-5. Модель подходит для классификации изображений, построения визуальных эмбеддингов и использования в качестве backbone для извлечения признаков. Её размер и вычислительная стоимость высоки: указано 534,1 GMACs, поэтому для инференса может потребоваться производительное оборудование. Лицензия — Apache-2.0.

MobileViT-v2 0.5 — компактная модель классификации изображений из семейства MobileViT-v2, опубликованная авторами статьи и обученная на ImageNet-1k. Она предназначена для классификации изображений, а также может использоваться как backbone для извлечения карт признаков и эмбеддингов. Модель содержит около 1,4 млн параметров, требует 0,5 GMACs и рассчитана на изображения размером 256 × 256 пикселей. Архитектура сочетает мобильную обработку изображений с механизмом self-attention; веса доступны в форматах PyTorch и safetensors. Лицензия указана как other, а подробности предлагается смотреть отдельно.

MViTv2 Base — модель классификации изображений на основе многомасштабного Vision Transformer, опубликованная авторами статьи MViTv2. Она предварительно обучена на ImageNet-22k (вариант Winter21), а затем дообучена на ImageNet-1k. Модель содержит 65,4 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для присвоения изображению класса из набора ImageNet-1k, а также может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. В карточке отмечено, что классификатор модели не соответствует ожидаемому лексикографическому порядку synset-классов, поэтому метки классов следует сопоставлять с осторожностью. Доступна в форматах PyTorch и safetensors через библиотеку timm. Лицензия — Apache-2.0.

Orbit 1.2 Image — модель преобразования изображений, представленная OpenPathAI. Она предназначена для переноса изображения в заданный вид: например, для раскрашивания, превращения сегментационной карты в реалистичное фото или изменения стиля. В карточке указаны архитектура pix2pix на основе условной GAN, генератор U-Net с пропусками и self-attention, а также дискриминатор PatchGAN со spectral normalization. Модель содержит 0,9 млрд параметров и использует FP16. Для работы доступны файлы Diffusers и safetensors; заявлены PyTorch и Hugging Face Diffusers. Лицензия — Apache-2.0. Карточка не приводит конкретные языки или ограничение разрешения; для преобразования требуется исходное изображение и условие, задающее желаемый результат.

Playground v2 – 1024px Aesthetic — диффузионная модель генерации изображений по тексту, разработанная исследовательской командой Playground и обученная с нуля. Она предназначена для создания эстетически выразительных изображений размером 1024×1024 по текстовым запросам и может использоваться через Hugging Face Diffusers, Automatic1111 и ComfyUI. Модель построена на архитектуре Latent Diffusion с двумя фиксированными предварительно обученными текстовыми энкодерами — OpenCLIP-ViT/G и CLIP-ViT/L — и следует архитектуре Stable Diffusion XL. По результатам пользовательского исследования Playground изображения модели предпочитали изображениям Stable Diffusion XL в 2,5 раза чаще; это результат исследования разработчика, а не гарантия для каждого запроса. Модель предназначена для генерации изображений общего назначения с акцентом на визуальную эстетику. В README указана лицензия Playground v2 Community License; перед использованием следует ознакомиться с её условиями.

PoolFormer-v2 S36 — модель классификации изображений и извлечения признаков из семейства MetaFormer. Её обучили авторы статьи на ImageNet-1k; в модели 30,8 млн параметров, расчётный размер изображения — 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям, извлечения карт признаков и получения векторных представлений изображений. Её можно использовать как визуальную основу в системах распознавания и анализа изображений. Репозиторий содержит веса PyTorch и Safetensors и использует библиотеку timm. Лицензия — Apache 2.0. Описание не сообщает показатели качества и ограничения на применение; результаты могут зависеть от набора данных и последующей настройки.

PVT-v2 B5 — модель компьютерного зрения семейства Pyramid Vision Transformer, опубликованная авторами работы и обученная для классификации изображений на ImageNet-1k. Она также может служить визуальным backbone для извлечения карт признаков и эмбеддингов изображений. Модель содержит около 82 млн параметров, обрабатывает изображения размером 224 × 224 пикселя и имеет вычислительную стоимость 11,8 GMACs. Подходит для классификации изображений и получения визуальных признаков в системах компьютерного зрения. Репозиторий содержит веса PyTorch и Safetensors; лицензия — Apache-2.0.

Это модель-энкодер для извлечения признаков изображений, созданная как нативное для timm представление весов визуального энкодера Qwen3.5-0.8B. Разработчики перенесли архитектуру vision backbone в timm без дополнительного обучения; в чекпойнте около 87,4 млн параметров, классификационной головы и весов языковой модели нет. Модель рассчитана на получение пространственных признаков и векторных представлений изображений, а не на диалог или генерацию текста. Энкодер использует MLP-блоки с GELU-tanh, обучаемые абсолютные позиционные представления и осевой двумерный RoPE. Поддерживаются прямоугольные входы; размер каждой стороны должен делиться на 16, а для вариантов с объединением токенов 2×2 — на 32. Входные RGB-пиксели нормализуются со средним и стандартным отклонением 0,5. Для входного изображения временное измерение исходного ядра свёртки сводится к двумерной свёртке. Модель подходит для извлечения признаков перед обучением классификатора или другими задачами компьютерного зрения. Усреднённое пулинг-представление можно использовать как эмбеддинг изображения, а пространственные карты признаков — как основу для последующей обработки. Для классификации требуется обучить новую линейную голову на целевом наборе данных. Лицензия — Apache 2.0.

Карточка модели 0xSojalSec/Qwen-Image-2.1-viggle-turbo-5x на Hugging Face совпадает с карточкой Viggle/Qwen-Image-2.1-viggle-turbo, поэтому описание составлено по ней. Qwen-Image-2.1-viggle-turbo — LoRA-адаптер, обученный Viggle на основе Qwen/Qwen-Image-2.1 методом дистилляции Distribution Matching Distillation. Он предназначен для генерации изображений по тексту и редактирования изображений по инструкциям с использованием до трёх референсных изображений. Версия v0.2.1 использует адаптер ранга 256 в формате bf16 и рассчитана на 6 проходов трансформера без classifier-free guidance; также доступен вариант ранга 128. По заявлению разработчика, генерация примерно в пять раз быстрее базовой модели с 40 шагами, при этом качество на большинстве проверенных примеров сопоставимо. Адаптер рассчитан на работу поверх базового трансформера Qwen-Image-2.1 через Diffusers; в репозитории также приведены workflows для ComfyUI. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория и базовой модели. Ограничения заметнее при рендеринге мелкого плотного текста и сложном редактировании, включая композицию по нескольким референсам, замену лиц, сохранение идентичности и инструкции с множеством ограничений; в этих случаях базовая модель может справляться лучше. Для ComfyUI автор предупреждает о возможных шероховатостях интеграции.

Это 4-битная версия модели генерации изображений Qwen-Image-2512, подготовленная Unsloth для запуска через библиотеку diffusers. Она создаёт изображения по текстовым описаниям и унаследовала от базовой модели улучшенную реалистичность изображений людей, детализацию природных сцен и более точную отрисовку текста и композиции. Модель подходит для создания портретов, повседневных и постановочных сцен, пейзажей, изображений животных и композиций с текстовыми элементами. В README заявлено также более точное следование деталям запроса, например позам и элементам окружения. Репозиторий распространяется по лицензии Apache-2.0.

Qwen-Image-Edit-2509-Light_restoration — адаптер LoRA для модели Qwen/Qwen-Image-Edit-2509, предназначенный для редактирования изображений по текстовой инструкции. Модель ориентирована на восстановление и коррекцию освещения: удаляет выраженные световые эффекты, блики и тени, после чего переосвещает изображение мягким, более равномерным светом. Разработка выполнена с использованием инфраструктуры ModelScope; конкретный автор или организация-разработчик в карточке не указаны. Модель подходит для обработки фотографий, прежде всего портретов и изображений людей, а также для подготовки наборов данных с естественным освещением, например при создании датасетов для обучения lighting LoRA. Для работы требуется базовая модель Qwen-Image-Edit-2509, а автор также рекомендует совместное использование с Qwen-Image-Lightning. Указаны pipeline image-to-image и библиотека diffusers. Архитектура, число параметров, поддерживаемые языки, размер контекста и точные требования к ресурсам не раскрыты; приведённые инструкции содержат фиксированные текстовые запросы на китайском языке. Сильная сторона адаптера — специализация на удалении освещения с сохранением исходного изображения и более естественным результатом по сравнению с искусственным добавлением света. Ограничения состоят в зависимости от базовой модели и дополнительного Lightning LoRA, а также в отсутствии подробных количественных оценок качества и технических характеристик. Модель распространяется по лицензии Apache-2.0.

RealVis Medium 1.0b — модель генерации изображений, созданная SG161222 дообучением SD3.5 Medium для получения реалистичных и фотореалистичных изображений по текстовым запросам. Модель распространяется в формате Diffusers с весами Safetensors и предназначена для работы, в частности, через ComfyUI. Модель ещё находится в разработке, поэтому результаты могут меняться. При длине запроса более 256 токенов T5 на краях изображения могут появляться артефакты; сокращение запроса может помочь. Распределение обучающих данных отличается от версии Large, поэтому одинаковые запросы могут давать другие результаты. Автор рекомендует Skip Layer Guidance для улучшения структуры и анатомической согласованности. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

RealVisXL V4.0 Lightning — модель генерации изображений по текстовому описанию от SG161222. Она основана на Stable Diffusion XL и предназначена для создания фотореалистичных изображений. В README рекомендованы быстрые генерации от четырёх шагов с низким CFG; для увеличения разрешения также приведены настройки Hires Fix. Модель может создавать изображения как безопасного, так и откровенного содержания. Автор отмечает, что версия всё ещё находится в обучении, поэтому возможны артефакты и нестабильное качество в отдельных случаях. Лицензия — OpenRAIL++; перед использованием следует учитывать её условия.

RegNetX-800MF — сверточная модель классификации изображений из библиотеки timm, разработанная авторами статьи Designing Network Design Spaces и предварительно обученная на ImageNet-1k. Модель содержит 7,3 млн параметров, требует изображения размером 224 × 224 пикселя и выполняет классификацию по категориям ImageNet-1k. Модель также подходит как визуальная основа для извлечения карт признаков и эмбеддингов изображений. Реализация timm поддерживает стохастическую глубину, градиентный чекпоинтинг, послойное уменьшение скорости обучения и настраиваемый выходной шаг. Репозиторий содержит веса PyTorch и Safetensors; лицензия — MIT. Модель ориентирована на изображения ImageNet-1k, поэтому результаты на других наборах данных могут отличаться.

regnety_320.seer_ft_in1k — модель компьютерного зрения семейства RegNetY-32GF, доступная в библиотеке timm. Она предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель предварительно обучена методом самообучения SwAV на наборе из 2 млрд случайных интернет-изображений, затем дообучена авторами соответствующей работы на ImageNet-1k. Сеть содержит около 145 млн параметров, требует 95 GMACs и рассчитана на изображения размером 384 × 384 пикселя. В карточке приведены результаты ImageNet-1k и примеры применения для классификации, извлечения карт признаков и эмбеддингов. Модель принимает изображения и выдаёт метки классов либо признаки в зависимости от выбранного сценария. Использование и распространение регулируются лицензией SEER от Meta Platforms; она некоммерческая и содержит ограничения. Большой размер сети и вычислительная стоимость могут затруднять запуск на устройствах с ограниченными ресурсами.

RepVGG B2 — сверточная модель классификации изображений из семейства RepVGG, реализованная в библиотеке timm как вариант BYOBNet. Её обучили авторы статьи на ImageNet-1k; модель содержит около 89 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по классам ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений в компьютерном зрении. Репозиторий содержит веса PyTorch и Safetensors, лицензия — MIT.

ResNeSt-101e — модель классификации изображений на основе ResNet с механизмом Split Attention, опубликованная авторами статьи ResNeSt и представленная в библиотеке timm. Модель обучена на ImageNet-1k; в карточке указано 48,3 млн параметров, 13,4 GMAC и размер входного изображения 256 × 256. Модель предназначена для классификации изображений по категориям ImageNet-1k. Её также можно использовать как визуальный бэкбон для извлечения карт признаков и эмбеддингов изображений. Весовые файлы доступны в форматах PyTorch и safetensors. Лицензия репозитория — Apache-2.0. Модель принимает изображения и выдаёт классовые предсказания; при использовании функций извлечения признаков или эмбеддингов результатом служат векторные представления. Она обучена на ImageNet-1k, поэтому её качество и набор классов ориентированы на эту задачу и датасет.

ResNet-152 v1.5 — сверточная нейросеть Microsoft для классификации изображений, предобученная на ImageNet-1k. Модель использует остаточные связи и блоки bottleneck; вариант v1.5 переносит операцию уменьшения разрешения на свёртку 3×3 в блоках с понижением разрешения. В README указано входное разрешение 224×224. Репозиторий предоставляет веса в форматах PyTorch, Safetensors и TensorFlow. Модель предназначена для отнесения изображения к одному из 1000 классов ImageNet и может служить базой для дообученных вариантов под другие задачи компьютерного зрения. Она принимает изображения и выдаёт метки классов. Распространяется по лицензии Apache-2.0. README отмечает, что v1.5 может быть немного точнее оригинального варианта, но иметь небольшое снижение скорости обработки.

RexSeek-3B — мультимодальная модель IDEA-Research для поиска на изображениях людей и объектов, соответствующих текстовому описанию. Она предназначена прежде всего для задач, где выражение может относиться сразу к нескольким экземплярам, например к людям с заданной одеждой или в определённом положении относительно друг друга. Модель сочетает визуальные энкодеры CLIP и ConvNeXt, детектор DINO-X для подготовки предложений областей и языковую модель Qwen2.5. На вход подаются изображение, текстовое описание и предложения рамок объектов; на выходе модель возвращает индексы подходящих объектов. Для генерации предложений рамок в примерах используются GroundingDINO, а для сегментации — SAM; эти компоненты входят в демонстрационные конвейеры, а не в заявленный состав RexSeek. Размер модели — 3,1 млрд параметров, контекст — 32 768 токенов. Репозиторий использует Transformers и формат safetensors. Модель подходит для визуального поиска нескольких объектов по естественному языку, в том числе в сценах с множеством людей и сложными атрибутами, пространственными отношениями или взаимодействиями. В README также описаны HumanRef и оценка задачи по точности, полноте и DensityF1. Указана лицензия other; конкретные условия использования следует сверять с лицензией в репозитории.

SabaVL1-2B — мультимодальная модель Sakalti на архитектуре Qwen2-VL, дообученная на базе unsloth/Qwen2-VL-2B-Instruct. Она принимает изображения и текстовые запросы и формирует текстовые ответы, поэтому подходит для диалога с визуальным содержимым. Модель содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для ответов на вопросы по изображениям и других сценариев визуального диалога. В карточке указано, что при обучении использовались Unsloth и библиотека TRL. Поддерживаемый язык по данным карточки — английский. Модель распространяется по лицензии Apache-2.0.

zeromodels/sam_vit_base — конверсия модели Segment Anything Model (SAM) от Meta в формате Keras 3, подготовленная для проекта zeromodels. Это модель сегментации с подсказками: она принимает изображение и указание на нужную область — точку, а при включённой поддержке рамок также рамку — и возвращает маску объекта. Архитектура включает визуальный энкодер ViT-B, который обрабатывает изображение, и более лёгкие энкодер подсказок и декодер масок. Модель подходит для интерактивного выделения объектов и генерации масок без заранее заданного словаря классов. Реализация Keras 3 работает с бэкендами TensorFlow, PyTorch и JAX. Репозиторий лицензирован по Apache 2.0. Карточка не сообщает размер модели и контекст; эти характеристики здесь не приводятся.

Stable Diffusion Image Variations v2 — модель генерации вариаций изображений, разработанная Lambda и основанная на Stable Diffusion. Она принимает изображение, кодирует его с помощью визуального энкодера ViT-L/14 в пространстве CLIP и генерирует новое изображение, сохраняющее сходство с исходным. Модель дообучена на наборе LAION Improved Aesthetics 6plus; её веса опубликованы в формате Diffusers/PyTorch. Модель предназначена для создания визуальных вариантов по изображению-образцу, например для исследования альтернативного стиля или композиции. В README отмечено, что версия v2 обучалась дольше и даёт более качественные результаты и большую CLIP-оценку сходства, чем предыдущая версия. Для корректного предобработки входное изображение следует уменьшать без сглаживания; при стандартном преобразовании PIL в Diffusers сглаживание может повлиять на результат. К ограничениям относятся несовершенный фотореализм, трудности с лицами, текстом и сложными пространственными композициями, а также склонность запоминать изображения из обучающих данных. Модель лучше работает с англоязычными описаниями, хотя её основной вход — изображение. Указанная лицензия — CreativeML OpenRAIL-M. README рекомендует использовать Safety Checker из Diffusers; данные обучения содержат материалы для взрослых, поэтому для продуктового применения могут потребоваться дополнительные меры безопасности.

Seg-Zero-7B — модель сегментации изображений, основанная на работе Seg-Zero: Reasoning-Chain Guided Segmentation via Cognitive Reinforcement. Она объединяет модель рассуждений, которая интерпретирует запрос пользователя и формирует позиционные подсказки, с моделью сегментации, создающей пиксельные маски. Обучение с подкреплением методом GRPO проводилось без явных данных с цепочками рассуждений; авторы заявляют о переносе на новые сценарии и формировании рассуждений во время вывода. Модель предназначена для сегментации объектов на изображении по текстовому запросу. В метаданных указаны архитектура Qwen2.5-VL, 7,1 млрд параметров, контекст до 128 000 токенов и библиотека Transformers. Репозиторий содержит веса в формате safetensors. Карточка не приводит подробных сведений о лицензии: указано значение «other», поэтому условия использования следует сверить отдельно.

SenseNova-MARS-8B — мультимодальная модель для визуального рассуждения и поиска, разработанная SenseNova. Она дообучена на базе Qwen/Qwen3-VL-8B-Instruct и предназначена для вопросов по изображениям, требующих поиска внешних знаний и детального анализа. В описанной системе модель взаимодействует с инструментами текстового и визуального поиска, а также обрезки изображений, чтобы решать сложные задачи на визуальное понимание. Модель использует архитектуру Qwen3-VL и принимает текст и изображения, формируя текстовые ответы. В README заявлены обучение с подкреплением и алгоритм BN-GSPO; приведённые результаты относятся преимущественно к версии MARS-32B, поэтому их нельзя напрямую считать оценкой версии 8B. Модель выпущена под лицензией MIT.

Stable Diffusion 2 Inpainting — модель латентной диффузии, разработанная Робином Ромбахом и Патриком Эссером для редактирования изображений по текстовому запросу и маске. Она продолжает обучение Stable Diffusion 2 Base ещё на 200 тысяч шагов и использует стратегию генерации масок LAMA вместе с латентным представлением скрытой области как дополнительным условием. Модель доступна для запуска через Diffusers и использует OpenCLIP-ViT/H как текстовый энкодер. Модель подходит для заполнения и замены отмеченных маской областей изображения по описанию, а также для творческого редактирования и исследовательских экспериментов с генеративными моделями. Она принимает текст и изображение с маской и выдаёт изображение. Основной язык запросов — английский; качество запросов на других языках ниже. Модель может плохо передавать читаемый текст, сложные пространственные отношения, лица и фотореалистичные детали; результаты автоэнкодера также могут быть потерянными. Обучение проводилось на отфильтрованном подмножестве LAION-5B, содержащем потенциально смещённые и небезопасные материалы. Лицензия — CreativeML Open RAIL++-M.