I.8Изображения и компьютерное зрение

Absolute Reality 1.6525 Inpainting — модель Stable Diffusion для редактирования изображений методом inpainting, разработанная Lykon. Она дообучена на runwayml/stable-diffusion-inpainting и предназначена для изменения или заполнения выбранных областей изображения с помощью текстового описания. Модель доступна в форматах Diffusers и safetensors; для использования указана лицензия CreativeML OpenRAIL-M. Карточка относит модель к художественным и реалистичным изображениям и отмечает поддержку английского языка. Подходит для локального редактирования изображений через Diffusers. Качество результата зависит от исходного изображения, маски и текстового запроса; отдельные ограничения в карточке не описаны.

AltCLIP-m18 — мультиязычная модель сопоставления изображений и текста, разработанная командой FlagAI. Это CLIP-подобная архитектура AltCLIP: она кодирует изображения и текст в общее пространство признаков, что позволяет сравнивать их и классифицировать изображения по текстовым описаниям без отдельного обучения на целевых классах. В метаданных Hugging Face указан сценарий zero-shot-классификации изображений; в README также приведены результаты классификации и поиска по изображениям и текстам. Модель поддерживает 18 языков: английский, китайский, японский, тайский, корейский, хинди, украинский, арабский, турецкий, вьетнамский, польский, нидерландский, португальский, итальянский, испанский, немецкий, французский и русский. Разработчики также указывают, что модель может служить текстово-графической основой для AltDiffusion-m18. Код открыт на FlagAI, веса доступны через ModelHub; лицензия самих весов в предоставленной карточке не определена. Условия использования датасетов не следует трактовать как лицензию модели.

Qdrant/clip-ViT-B-32-vision — ONNX-порт визуальной части модели sentence-transformers/clip-ViT-B-32, опубликованный Qdrant. Модель содержит 113,2 млн параметров и предназначена для классификации изображений и поиска визуально похожих изображений; в карточке приведён пример использования через FastEmbed. Модель относится к семейству CLIP Vision и работает с изображениями, формируя визуальные представления для задач классификации и поиска сходства. Репозиторий содержит веса в формате ONNX. Лицензия — MIT.

EVA-CLIP-18B — модель контрастивного сопоставления изображений и текста, разработанная BAAI при участии авторов из THU. Она содержит около 18,1 млрд параметров и обучена на парах изображение–текст из наборов LAION-2B и COYO-700M, а также на дополнительных данных для финального этапа обучения. Модель предназначена для извлечения согласованных признаков изображений и текстов, классификации изображений без дополнительного обучения и поиска по тексту или изображению. В README сообщается о средней точности zero-shot классификации 80,7% на 27 наборах изображений; также приведены результаты классификации видео по одному кадру и поиска по изображениям и текстам. Репозиторий содержит веса PyTorch, а карточка указывает лицензию Apache-2.0. Для работы с моделью требуется значительная память: веса опубликованной версии занимают десятки гигабайт; авторы упоминают DeepSpeed ZeRO-3 как способ загрузки при ограниченной оперативной памяти. Английский язык явно представлен в названии обучающего набора LAION-2B-en, однако README не подтверждает поддержку других языков.

Это совместимая с новыми версиями библиотеки transformers редакция модели Florence-2-base-ft от Microsoft. В репозитории изменён код modeling_florence2.py, чтобы исправить загрузку модели и генерацию текста при работе с версиями transformers от 4.42.0 до 4.57.x; веса и базовая архитектура принадлежат Microsoft. Модель предназначена для задач анализа изображений, включая создание описаний, распознавание текста и обнаружение объектов по текстовым запросам. Архитектура Florence-2 принимает изображения и текстовые запросы и выдаёт текстовые ответы или результаты визуального анализа. В метаданных указана лицензия Apache-2.0; README отсылает к исходной карточке Microsoft за условиями использования.

InternVL-14B-224px — модель зрения и языка OpenGVLab с 14 млрд параметров, предназначенная для извлечения признаков изображений и решения задач на изображениях и видео. Модель принимает изображения размером 224 × 224 пикселя и поддерживает классификацию без дообучения, поиск соответствий между изображениями и текстом или видео и текстом, а также создание подписей к изображениям. Модель обучена на наборах LAION-en, LAION-COCO, COYO, CC12M, CC3M, SBU, Wukong и LAION-multi. В README отмечено, что для корректной работы при использовании необходим префикс «summarize:» и значение tokenizer.pad_token_id = 0. Лицензия — MIT. Конкретные поддерживаемые языки и численные результаты оценки в предоставленных материалах не описаны.

Это вариант Kandinsky 2.2 для генерации и редактирования изображений с помощью текстовых подсказок и маски: модель заполняет выбранные области изображения. В README разработчиками указаны Арсений Шахматов, Антон Разжигаев, Александр Николич, Игорь Павлов, Андрей Кузнецов и Денис Димитров. Модель построена на диффузионном подходе unCLIP и latent diffusion. В описанной архитектуре используются CLIP для кодирования текста и изображений, модель-приор на основе трансформера, диффузионный UNet и декодер MoVQGAN. Для дообучения использовались данные LAION HighRes и набор высококачественных изображений с описаниями. Карточка рекомендует применять Diffusers; лицензия — Apache-2.0. Модель подходит для создания изображений по запросу и локального редактирования исходного изображения с маской. При работе с inpainting важно учитывать изменение формата маски в Diffusers: белым обозначается область для заполнения. README описывает Kandinsky 2.1 наряду с Kandinsky 2.2, поэтому приведённые сведения об обучении и оценке могут относиться к семейству, а не исключительно к этому чекпойнту.

LLM2CLIP — модель семейства CLIP, разработанная исследователями из Университета Тунцзи и Microsoft. Этот репозиторий содержит вариант OpenAI L/14 с разрешением изображения 224 пикселя и предназначен для получения признаков изображений и поиска соответствий между изображениями и текстом; в метаданных Hugging Face основная задача обозначена как zero-shot-классификация. Метод LLM2CLIP переносит языковые возможности большой языковой модели в текстовые эмбеддинги CLIP с помощью контрастивного обучения, а затем использует эту модель как учителя для визуального энкодера. Подход поддерживает работу с более длинными и сложными подписями и улучшает межъязыковой поиск; в статье также описано применение признаков в мультимодальном обучении. Для данной версии карточка приводит веса в формате safetensors и лицензию Apache-2.0. Авторы сообщают об улучшениях в задачах поиска по изображению и тексту, однако предупреждают, что результаты статьи оценивались на весах PyTorch и могут отличаться для версий Hugging Face. В карточке не приведены конкретный лимит контекста и список языков этой версии.

zer0int выпустил дообученную версию Long-CLIP ViT-L/14 с обучением на основе разреженного автоэнкодера (SAE) и состязательных примеров. Это модель семейства CLIP для сопоставления изображений с текстовыми описаниями и классификации изображений без примеров для заданных классов. Увеличенная длина текстового ввода позволяет лучше работать с длинными описаниями и следовать сложным промптам; автор также рекомендует её для использования с HunyuanVideo через специальный узел ComfyUI. Модель принимает изображения и текстовые описания, кодирует их для сопоставления и выдаёт оценки соответствия. Она рассчитана на сценарии zero-shot-классификации и поиска изображений по тексту, а также может служить текстовым энкодером в генеративных видеопроцессах. Опубликована в формате safetensors. Лицензия в предоставленных данных не указана.

Карточка модели Jinstudio/Mage-Flow-Edit-Turbo на Hugging Face совпадает с карточкой Mage-Fans/Mage-Flow-Edit-Turbo, поэтому описание составлено по ней. Mage-Flow-Edit-Turbo — вариант модели Mage-Flow-Edit для редактирования изображений по текстовым инструкциям, разработанный командой Mage-Flow. Это мультимодальный диффузионный трансформер NR-MMDiT с 4 млрд параметров, работающий в латентном пространстве Mage-VAE и обученный методом rectified flow. Версия Turbo использует дистиллированный режим генерации за четыре шага. Модель принимает исходное изображение и текстовую инструкцию. Она предназначена для смыслового и локального редактирования содержимого, преобразования внешнего вида и стиля, изменения сцен и объектов, восстановления изображений и других преобразований с учётом структуры. Семейство рассчитано на работу с изображениями в родном разрешении от 512 до 2048 пикселей и разными соотношениями сторон; в README приведены результаты редактирования на изображениях 1024×1024. Репозиторий распространяется в формате Diffusers с весами Safetensors. Указана лицензия MIT. Для запуска описана установка CUDA-зависимостей, включая flash-attn. README заявляет интерактивную скорость редактирования, но фактическая производительность зависит от оборудования; указанное измерение для Turbo получено на одном A100.

Mage-Flow-Edit-Turbo — вариант модели Mage-Flow-Edit от команды Mage-Flow, предназначенный для редактирования изображений по текстовым инструкциям. Это компактная модель семейства Mage-Flow с общей для генерации и редактирования архитектурой NR-MMDiT на 4 млрд параметров и латентным токенизатором Mage-VAE; обучение использует rectified flow. Вариант Turbo рассчитан на быстрое редактирование за четыре шага генерации. Модель принимает исходное изображение и текстовую инструкцию. Она подходит для изменения объектов и сцен, преобразования внешнего вида и художественного стиля, восстановления изображений и получения вариантов результата с учётом структуры исходника. Семейство ориентировано на работу с изображениями разного соотношения сторон и разрешением от 512 до 2048 пикселей; для Mage-Flow-Edit-Turbo в README указано время редактирования около 1,02 секунды для изображения 1024×1024 на одной A100. Репозиторий использует Diffusers и содержит веса в формате safetensors. Лицензия — MIT. Для запуска описана установка компонентов CUDA, включая flash-attn; приведённые показатели скорости относятся к указанному оборудованию и не гарантируют такую же задержку в других условиях.

Карточка модели natalie5/Mage-Flow-Edit-Turbo на Hugging Face совпадает с карточкой mage-flow-community/Mage-Flow-Edit-Turbo, поэтому описание составлено по ней. Mage-Flow-Edit-Turbo — вариант модели Mage-Flow-Edit от команды Mage-Flow, предназначенный для редактирования изображений по текстовым инструкциям. Это компактная модель семейства Mage-Flow с общей для генерации и редактирования архитектурой NR-MMDiT на 4 млрд параметров и латентным токенизатором Mage-VAE; обучение использует rectified flow. Вариант Turbo рассчитан на быстрое редактирование за четыре шага генерации. Модель принимает исходное изображение и текстовую инструкцию. Она подходит для изменения объектов и сцен, преобразования внешнего вида и художественного стиля, восстановления изображений и получения вариантов результата с учётом структуры исходника. Семейство ориентировано на работу с изображениями разного соотношения сторон и разрешением от 512 до 2048 пикселей; для Mage-Flow-Edit-Turbo в README указано время редактирования около 1,02 секунды для изображения 1024×1024 на одной A100. Репозиторий использует Diffusers и содержит веса в формате safetensors. Лицензия — MIT. Для запуска описана установка компонентов CUDA, включая flash-attn; приведённые показатели скорости относятся к указанному оборудованию и не гарантируют такую же задержку в других условиях.

Карточка модели anas89ji/Ming-flash-omni-Preview на Hugging Face совпадает с карточкой inclusionAI/Ming-flash-omni-Preview, поэтому описание составлено по ней. Ming-flash-omni Preview — предварительная мультимодальная модель компании inclusionAI, дообученная на основе Ling-flash-2.0. Это разреженная MoE-модель с 100 млрд параметров, из которых активны 6 млрд на токен; архитектура указана как BailingMM2NativeForConditionalGeneration. Модель принимает текст, изображения, аудио и видео и может выдавать текст, изображения и аудио. Модель предназначена для мультимодального диалога: понимания изображений и видео, распознавания речи с учётом контекста и китайских диалектов, синтеза речи, генерации и редактирования изображений. Среди заявленных возможностей — генеративная сегментация, улучшенное сохранение сцены и идентичности при редактировании, а также отрисовка текста внутри изображений. Разработчик сообщает о сильных результатах на мультимодальных тестах, включая контекстное распознавание речи и распознавание 15 китайских диалектов. Модель опубликована под лицензией MIT. Это Preview-версия; карточка не приводит длину контекста и подробные требования к оборудованию. Для практического применения следует учитывать большой общий размер модели и проверять качество на целевых задачах.

Ming-flash-omni Preview — мультимодальная модель от разработчиков семейства Ming, построенная на разреженной MoE-версии Ling-Flash-2.0. В модели заявлено 100 млрд параметров, из которых активны около 6 млрд на токен; она поддерживает входные изображения, текст, видео и аудио, а генерирует изображения, текст и аудио. Модель предназначена для мультимодального диалога и генерации: понимания изображений и видео, распознавания речи с учётом контекста и диалектов, синтеза речи, генерации и редактирования изображений. В карточке отдельно отмечены сегментация как часть редактирования, улучшенное сохранение сцены и идентичности при правках изображений, а также распознавание 15 китайских диалектов. Архитектура — разреженная Mixture-of-Experts; доступны интерфейсы чата и вызова инструментов. Модель опубликована как Preview, поэтому заявленные результаты стоит рассматривать с учётом предварительного статуса версии. Лицензия — MIT.

Ming-flash-omni Preview — предварительная мультимодальная модель компании inclusionAI, дообученная на основе Ling-flash-2.0. Это разреженная MoE-модель с 100 млрд параметров, из которых активны 6 млрд на токен; архитектура указана как BailingMM2NativeForConditionalGeneration. Модель принимает текст, изображения, аудио и видео и может выдавать текст, изображения и аудио. Модель предназначена для мультимодального диалога: понимания изображений и видео, распознавания речи с учётом контекста и китайских диалектов, синтеза речи, генерации и редактирования изображений. Среди заявленных возможностей — генеративная сегментация, улучшенное сохранение сцены и идентичности при редактировании, а также отрисовка текста внутри изображений. Разработчик сообщает о сильных результатах на мультимодальных тестах, включая контекстное распознавание речи и распознавание 15 китайских диалектов. Модель опубликована под лицензией MIT. Это Preview-версия; карточка не приводит длину контекста и подробные требования к оборудованию. Для практического применения следует учитывать большой общий размер модели и проверять качество на целевых задачах.

MoEViE-B16-224 — разработанный Meta визуальный энкодер из семейства MoE-ViE для понимания изображений и видео. Модель обучена контрастным способом на парах изображение–текст и предназначена для классификации изображений без примеров и извлечения визуальных и текстовых признаков для сопоставления и поиска. Это вариант B/16 с 12 слоями, шириной 768 и входным разрешением 224 пикселя. В модели около 0,5 млрд параметров, из которых примерно 0,1 млрд активируется для отдельного токена: каждый MoE-блок сочетает постоянно работающего эксперта и маршрутизируемых экспертов. В README приведены результаты zero-shot классификации на ImageNet-1k и ObjectNet, а также поиска по изображениям и видео. Для работы требуются CUDA GPU и Triton; MoE-ядра компилируются при запуске. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

OmniGen2 — мультимодальная генеративная модель, выпущенная командой BAAI. Она использует две отдельные ветви декодирования для текста и изображений с разными параметрами и отдельный токенизатор изображений. Модель объединяет визуальное понимание, создание изображений по тексту, редактирование изображений по инструкциям и генерацию с использованием изображений-примеров в контексте. Для визуального понимания она использует возможности Qwen-VL-2.5. Модель принимает текстовые запросы и изображения, а выдаёт текстовое описание или сгенерированное изображение в зависимости от задачи. Её можно применять для создания иллюстраций по описанию, изменения загруженных изображений, анализа их содержимого и генерации сцен с объектами или людьми по референсам. В карточке модели описана генерация изображений с размером по умолчанию 1024×1024 и настройками для управления следованием запросу и сходством с референсом. Модель распространяется по лицензии Apache-2.0. Модель иногда не следует инструкциям, а генерация по референсам может изменять детали исходных объектов; для получения подходящего результата могут потребоваться уточнение запроса и несколько попыток. Выходной размер нужно задавать явно, если требуется размер, отличный от стандартного. Для снижения потребления видеопамяти доступны режимы выгрузки весов в оперативную память, хотя последовательная выгрузка заметно замедляет работу.

Perception Encoder PE-Core-B16-224 — визуально-языковая модель-энкодер, разработанная Meta для понимания изображений и видео. Это версия семейства PE Core размера B/16: визуальная башня имеет 12 слоёв и около 90 млн параметров, а текстовая — 24 слоя и около 310 млн параметров. Модель сопоставляет изображения и текст в общем пространстве признаков; изображения обрабатываются при разрешении 224 пикселя, длина текстового контекста составляет 32 токена. Модель предназначена для классификации изображений по текстовым описаниям без специального обучения на целевых классах, а также для извлечения признаков и поиска по сходству изображений и текста. В README также приведены результаты на задачах классификации видео и поиска, однако карточка Hugging Face указывает основной задачей классификацию изображений zero-shot. Вариант B/16 показал результаты на наборах ImageNet-1k, ImageNet-v2, ImageNet-A, ObjectNet и Kinetics-400. PE Core использует контрастивное предварительное обучение и дополнительную настройку на синтетически согласованных видеоданных. Модель принимает изображения и текст, выдаёт векторные представления для сопоставления. Для работы требуются PyTorch и библиотека perception-encoder. Лицензия — Apache-2.0. Генерация текста или изображений не поддерживается; текстовый контекст ограничен 32 токенами.

PP-LCNet_x0_25_textline_ori_onnx — компактная модель PaddlePaddle в формате ONNX для классификации ориентации строк текста на изображениях. Она предназначена для этапа предварительной обработки в OCR-конвейерах: определяет направление текстовой строки, после чего ориентацию изображения можно скорректировать постобработкой. Модель подходит для обработки сканов документов и фотографий удостоверений или сертификатов, в том числе когда устройство захвата было повернуто. Предварительное определение ориентации помогает повысить точность последующего распознавания текста. В карточке указаны поддержка английского и китайского языков и лицензия Apache 2.0.

Qwen-Image-ControlNet-Inpainting — модель ControlNet от InstantX для масочного заполнения и расширения изображений на базе Qwen-Image. Она предназначена для редактирования выбранной области с сохранением заданного контекста изображения: замены объектов и фона, изменения текста на изображении и дорисовки за его границами. Контрольная сеть состоит из шести двойных блоков, скопированных из предварительно обученных слоёв трансформера. Модель обучали с нуля 65 тысяч шагов на наборе из 10 миллионов изображений общего назначения и изображений людей; разрешение обучения — 1328 × 1328, точность — bfloat16. Для работы требуется базовая модель Qwen/Qwen-Image и совместимый конвейер Diffusers; также заявлена поддержка ComfyUI версии 0.3.59 или новее. Модель чувствительна к формулировкам запроса: рекомендуется подробно описывать всё изображение, включая редактируемую область и фон, и использовать описательные запросы. Модель распространяется по лицензии Apache-2.0.

Карточка модели ViktorLin/Qwen-Image-ControlNet-Inpainting на Hugging Face совпадает с карточкой InstantX/Qwen-Image-ControlNet-Inpainting, поэтому описание составлено по ней. Qwen-Image-ControlNet-Inpainting — модель ControlNet от InstantX для масочного заполнения и расширения изображений на базе Qwen-Image. Она предназначена для редактирования выбранной области с сохранением заданного контекста изображения: замены объектов и фона, изменения текста на изображении и дорисовки за его границами. Контрольная сеть состоит из шести двойных блоков, скопированных из предварительно обученных слоёв трансформера. Модель обучали с нуля 65 тысяч шагов на наборе из 10 миллионов изображений общего назначения и изображений людей; разрешение обучения — 1328 × 1328, точность — bfloat16. Для работы требуется базовая модель Qwen/Qwen-Image и совместимый конвейер Diffusers; также заявлена поддержка ComfyUI версии 0.3.59 или новее. Модель чувствительна к формулировкам запроса: рекомендуется подробно описывать всё изображение, включая редактируемую область и фон, и использовать описательные запросы. Модель распространяется по лицензии Apache-2.0.

Qwen-Image-Edit-AIO-FP8 — вариант семейства Qwen-Image-Edit для редактирования изображений по текстовым инструкциям. README связывает его с моделями Qwen-Image-Edit-2509 и Qwen-Image-Edit-2511, разработанными командой Qwen компании Alibaba. Это диффузионная мультимодальная модель с архитектурой MMDiT и 20 млрд параметров; версия FP8 предназначена для снижения потребления видеопамяти и ускорения вывода при небольшой потере качества. Модель поддерживает редактирование с несколькими изображениями-референсами, сохранение идентичности людей и товаров, изменение текста внутри изображений и совместимость с ControlNet. Модель подходит для композиции изображений по нескольким референсам, замены материалов, изменения геометрии и итеративного редактирования с сохранением структуры, освещения и ракурса. README отмечает сценарии промышленного дизайна и создания композиций с несколькими людьми. В метаданных указан английский язык карточки, но они не подтверждают, что модель ограничена только им. Лицензия — Apache-2.0; README сообщает, что применяются условия исходной страницы Qwen-Image-Edit.

Raon-VisionEncoder — мультимодальная модель извлечения признаков изображений и текста, разработанная KRAFTON. Она предназначена для получения признаковых представлений, которые можно использовать для классификации изображений без обучения на целевых классах и поиска соответствий между изображениями и текстовыми запросами. Модель содержит 1,14 млрд параметров и построена на архитектуре LocCa (Localized CoCa) с визуальным энкодером ViT-SO400M и текстовым энкодером. Поддерживает обработку изображений с сохранением исходного соотношения сторон с помощью NaFlex; размер патча составляет 16×16, стандартная конфигурация использует 256 патчей. Модель основана на OpenCLIP и распространяется в формате safetensors. Raon-VisionEncoder принимает изображения и текст и извлекает их признаки для сравнения и классификации. Карточка не сообщает лицензию и не приводит конкретных ограничений качества или набора поддерживаемых языков.

andregn/Realistic_Vision_V3.0-inpainting — ветка Realistic Vision V3.0, содержащая только модель для заполнения и изменения выбранных областей изображения. Она предназначена для локального редактирования изображения по маске с помощью StableDiffusionInpaintPipeline; репозиторий распространяет веса в форматах Diffusers и safetensors. Автор README уточняет, что это не официальная ветка. Модель ориентирована на создание реалистичных изображений; лицензия — CreativeML Open RAIL-M.

RORem — модель удаления объектов на изображениях, разработанная авторами проекта RORem и опубликованная на Hugging Face пользователем LetsThink. Она предназначена для локального заполнения изображения после удаления объекта: на вход подаются изображение, маска и текстовый запрос, а на выходе получается изменённое изображение. Модель реализована как пайплайн Stable Diffusion XL Inpainting на Diffusers; в конфигурации указана базовая модель diffusers/stable-diffusion-xl-1.0-inpainting-0.1. Карточка описывает RORem как инструмент для редактирования изображений и демонстрирует пример преобразования объекта с помощью текстового запроса. Репозиторий распространяется по лицензии Apache-2.0. Доступные материалы не сообщают размер модели, длину контекста или список поддерживаемых естественных языков.

SigLIP 2 Base — модель визуального энкодера, разработанная Google. Она предназначена для сопоставления изображений и текста, классификации изображений по заданным текстовым меткам без специального дообучения, а также для использования в качестве визуального энкодера в мультимодальных моделях и других задачах компьютерного зрения. Модель относится к семейству SigLIP, имеет плотную архитектуру и доступна в формате safetensors для библиотеки Transformers. Предобучение выполнено на наборе WebLI с использованием объединённой схемы обучения, расширяющей подход SigLIP методами для улучшения семантического понимания, локализации и плотных визуальных признаков. README также указывает на пригодность модели для поиска соответствий между изображениями и текстом. Лицензия — Apache 2.0. Модель принимает изображения и текстовые кандидаты или запросы и выдаёт оценки соответствия, которые можно использовать для ранжирования меток и поиска пар изображение—текст. В карточке не приведены численный размер модели, длина контекста и перечень поддерживаемых естественных языков.

SigLIP 2 Base — базовая модель семейства SigLIP 2, разработанная Google. Это плотный визуально-языковой энкодер класса Siglip2Model для сопоставления изображений и текста; модель доступна в формате Safetensors и используется через библиотеку Transformers. Модель предназначена для классификации изображений по произвольным текстовым меткам без отдельного обучения, поиска соответствий между изображениями и текстом, а также в качестве визуального энкодера для мультимодальных моделей и других задач компьютерного зрения. SigLIP 2 объединяет улучшения предобучения SigLIP для семантического понимания изображений, локализации и получения плотных признаков. Она предобучена на наборе WebLI. Модель принимает изображения и текстовые описания или метки и выдаёт оценки соответствия, пригодные для ранжирования вариантов. Карточка не сообщает конкретный размер параметров и длину контекста. Лицензия Apache-2.0 разрешает использование, изменение и распространение с соблюдением её условий. Оценки из карточки относятся к исследовательской публикации; качество может различаться на задачах и данных, отличающихся от предобучения.

Карточка модели Veritone/siglip2-base-patch32-256 на Hugging Face совпадает с карточкой google/siglip2-base-patch32-256, поэтому описание составлено по ней. SigLIP 2 Base — модель компьютерного зрения от Google, предназначенная для сопоставления изображений с текстовыми описаниями. Она использует архитектуру SigLIP и обучена на наборе WebLI. Вариант patch32-256 принимает изображения и текстовые метки-кандидаты для классификации без дообучения; модель также подходит для поиска изображений по тексту и как визуальный энкодер для мультимодальных моделей. Модель рассчитана на задачи семантического понимания изображений, локализации и получения плотных визуальных признаков. Для её использования доступны веса в формате safetensors и библиотека Transformers. Лицензия Apache-2.0 разрешает свободное использование и распространение при соблюдении её условий.

SigLIP 2 So400m — модель визуального кодировщика от Google, обученная для совместного понимания изображений и текста. Она развивает подход SigLIP, объединяя несколько методов предобучения; в карточке Hugging Face указана архитектура семейства SigLIP и библиотека Transformers. Модель предварительно обучена на наборе WebLI. Модель подходит для классификации изображений по текстовым меткам без специального обучения, поиска соответствий между изображениями и текстом, а также для использования в качестве визуального энкодера в мультимодальных языковых моделях и других задачах компьютерного зрения. Она принимает изображения и текстовые описания или метки и формирует представления, используемые для сопоставления и классификации. Модель распространяется по лицензии Apache-2.0. Оценочные результаты приведены в README со ссылкой на исследовательскую работу; конкретные ограничения и показатели качества для отдельных сценариев в доступных материалах не описаны.

Stable Diffusion 2 Inpainting — модель латентной диффузии для редактирования изображений по текстовому запросу и маске. Этот репозиторий является зеркалом устаревшей модели stabilityai/stable-diffusion-2-inpainting; авторы модели — Робин Ромбах и Патрик Эссер, зеркало не связано со Stability AI. Модель создана на основе stable-diffusion-2-base и дополнительно обучена на 200 тысячах шагов. Для задания текста использует фиксированный предварительно обученный энкодер OpenCLIP-ViT/H, а маска и латентное представление изображения служат дополнительными условиями генерации. Модель предназначена для заполнения или изменения выбранных областей изображения, а также творческого дизайна и исследовательской работы с генеративными моделями. Карточка описывает применение через Diffusers; метаданные указывают форматы Diffusers, PyTorch и safetensors. Основной язык запросов — английский: модель обучалась преимущественно на английских подписях, поэтому запросы на других языках могут работать хуже. Лицензия — CreativeML Open RAIL++-M License.