I.8Изображения и компьютерное зрение

zeromodels/clip_vit_g_14 — конверсия CLIP от zeromodels в формате Keras 3 на основе laion/CLIP-ViT-g-14-laion2B-s12B-b42K. Это двухэнкодерная модель зрения и текста: она кодирует изображения и текстовые запросы в общее пространство эмбеддингов и предназначена для классификации изображений по текстовым описаниям без специального обучения на целевых классах. Также модель подходит для поиска изображений по тексту или текстов по изображению и получения эмбеддингов. Для работы подаются изображения и текстовые промпты; размер изображения и токенизатор согласуются через соответствующий процессор. Реализация на Keras 3 запускается с TensorFlow, Torch или JAX. Модель основана на CLIP ViT-g/14 LAION, обученной на парах изображений и подписей с контрастивной функцией потерь. Репозиторий распространяется по лицензии MIT. Карточка не приводит конкретные языки обучения или ограничения точности; качество классификации зависит от формулировок текстовых промптов.

Это модель CLIP ViT-L/14, разработанная LAION с использованием OpenCLIP и обученная на 1,4 млрд примеров набора DataComp-1B на кластере Stability AI. Она сопоставляет изображения и текстовые описания в общем пространстве представлений и предназначена прежде всего для классификации изображений без дообучения по произвольным текстовым меткам, а также для поиска изображений по тексту и текстов по изображению. Модель можно применять в исследованиях и как основу для дообучения классификаторов, линейных проб и систем генерации изображений. В оценке на 38 наборах данных модель показала точность top-1 79,2% на ImageNet-1k при классификации без дообучения. Модель принимает изображения и текстовые метки или запросы и выдаёт оценки соответствия; карточка не указывает языки текстового энкодера, поэтому не следует считать её специально ориентированной на русский язык. Авторы не рекомендуют развёртывание модели, в том числе коммерческое, и применение без тщательной проверки на конкретной задаче и фиксированном наборе классов. Использование для наблюдения и распознавания лиц исключено из допустимых сценариев. Модель выпущена по лицензии MIT.

DatologyAI CLIP Classification Optimized ViT-B/32 — контрастивная модель «изображение—текст», разработанная DatologyAI на стандартной архитектуре CLIP без изменений в архитектуре и процедуре обучения. Модель использует визуальный энкодер ViT-B/32 с 86 млн параметров и текстовый трансформер из 12 слоёв; размер изображения — 224×224 пикселя, размер эмбеддинга — 512, контекст текстового энкодера — 77 токенов. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения, а также для извлечения признаков изображений и использования в качестве визуального энкодера для VLM. Для обучения использовали курируемые DatologyAI данные DataComp-XL: README сообщает о 13 млрд пар «изображение—текст». В карточке заявлены точность 76,91% на ImageNet1k и улучшенная эффективность обучения; это результаты авторов, а не независимая оценка. Модель выпущена в форматах PyTorch и safetensors под лицензией Apache 2.0.

DewarpNet-LiteRT — это модель для выравнивания фотографий изогнутых или сложенных документов, подготовленная сообществом litert-community на основе DewarpNet. Она предназначена для локальной обработки на устройствах и интеграции в приложения-сканеры: два сверточных компонента WCNet и BMNet предсказывают сетку обратного отображения, по которой исходное изображение можно преобразовать в плоскую страницу. Модель распространяется в формате TFLite и рассчитана на запуск через LiteRT. Вход — изображение размером 256×256 в формате BGR, нормализованное делением на 255; выход — сетка обратного отображения размером 128×128, а финальное преобразование изображения выполняется на стороне приложения. В README приведены замеры производительности на Android GPU и NPU, а также на Raspberry Pi 5 и в браузере; скорость зависит от устройства и выбранного вычислительного бэкенда. Для использования нужно интегрировать модель в приложение и выполнить постобработку сетки: сгладить её, масштабировать до исходного размера и применить к изображению. Модель лицензирована по MIT. Карточка описывает конверсию исходного DewarpNet для LiteRT; отдельная адаптация весов не заявлена.

Это версия модели DINOv2 Classification от Geti™, преобразованная в формат OpenVINO IR с весами FP16. Она предназначена для классификации изображений и инференса в среде OpenVINO; модель можно дообучить на пользовательском наборе данных с помощью Geti™. Для запуска требуется OpenVINO версии 2026.1.0 или новее и Model API версии 0.4.0 или новее. Модель распространяется по лицензии Apache-2.0. Ограничения зависят от исходной модели DINOv2 Classification.

FG-CLIP Base — модель Qihoo 360 для тонкого выравнивания визуальных и текстовых представлений. Обучение проходит в два этапа: сначала на парах изображений и подписей для глобального выравнивания, затем с дополнительными описаниями областей изображения, включая подробные описания и положительные и отрицательные примеры. Архитектура относится к семейству CLIP; карточка указывает использование Transformers и формат весов safetensors. Модель предназначена для сопоставления изображений с текстовыми описаниями и поиска по изображениям или тексту. Более детальное обучение на областях изображений помогает учитывать локальные визуальные признаки наряду с общим содержанием изображения. В README приведены сценарии извлечения признаков и поиска. Указанная лицензия — Apache-2.0.

Карточка модели fuliucansheng/FLUX.1-Fill-dev-diffusers на Hugging Face совпадает с карточкой black-forest-labs/FLUX.1-Fill-dev, поэтому описание составлено по ней. FLUX.1 Fill [dev] — модель генерации и редактирования изображений от Black Forest Labs. Это трансформер rectified flow с 12 млрд параметров, обученный с дистилляцией guidance. Модель заполняет выбранные области существующего изображения по текстовому описанию, стараясь согласовать результат с запросом и структурой исходного изображения. Модель предназначена для редактирования изображений и творческих рабочих процессов: например, для замены или добавления объектов и восстановления областей изображения по текстовой инструкции. Она принимает изображение и текстовое описание и выдаёт отредактированное изображение. Для запуска предусмотрена поддержка Diffusers через FluxFillPipeline. Качество генерации и следование запросу могут уступать FLUX.1 Fill [pro] и зависят от формулировки запроса. При заполнении сложных текстур возможны линии на границах области, а незатронутые области могут немного менять цвет. Модель не предназначена для предоставления фактической информации и может усиливать социальные предубеждения. Для весов указана лицензия FLUX.1 [dev] Non-Commercial License; README описывает допустимые сценарии использования, но лицензия ограничивает коммерческое применение.

HiDream-E1-Full — модель редактирования изображений от HiDream.ai, построенная на HiDream-I1-Full и предназначенная для редактирования по инструкциям. Она принимает изображение и текстовое указание, например изменить объект, фон, цвет или стиль либо удалить элемент, и генерирует отредактированное изображение. Модель распространяется в формате Diffusers и safetensors; для запуска автор рекомендует актуальную версию Diffusers, Flash Attention и CUDA 12.4. В README приведены результаты оценки на наборах EmuEdit и ReasonEdit. Лицензия — MIT.

LLaDA2.0-Uni — мультимодальная диффузионная языковая модель с архитектурой Mixture-of-Experts от AGI Research Center, Inclusion AI. Она объединяет понимание изображений и генерацию изображений в одной модели: принимает текстовые инструкции и изображения, отвечает на вопросы по визуальному содержимому, описывает изображения, разбирает документы, создаёт изображения по тексту и редактирует их по инструкциям с одной или несколькими референсными картинками. Модель построена на базе inclusionAI/LLaDA2.0-mini и использует парадигму предсказания маскированных токенов и дискретный визуальный токенизатор SigLIP-VQ. В репозитории указаны 1,2 млрд параметров и контекст 8192 токена; веса доступны в формате Safetensors. Для генерации и редактирования изображений применяется отдельный диффузионный декодер. Разработчики также описывают ускорение Sprint и дистиллированный режим декодера, сокращающий генерацию до 8 шагов. Модель ориентирована на мультимодальные сценарии, где нужно сочетать визуальный анализ и генерацию. README указывает поддержку английского языка. Лицензия — Apache-2.0. Для инференса требуется значительный объём видеопамяти: в README приведены оценки для компонентов большей конфигурации, которые расходятся с указанным в метаданных общим числом параметров; поэтому эти оценки нельзя напрямую считать требованиями именно к этому опубликованному чекпойнту.

zer0int/LongCLIP-GmP-ViT-L-14 — дообученная модель CLIP, созданная zer0int на основе BeichenZhang/LongCLIP-L. Она предназначена для сопоставления изображений с текстовыми описаниями и классификации изображений по текстовым меткам без отдельного обучения на этих классах. Модель также можно использовать как текстовый энкодер в рабочих процессах генерации изображений, включая Flux.1, SDXL и Stable Diffusion. Модель основана на архитектуре CLIP ViT-L/14 и использует формат safetensors. В README описан вариант интеграции, поддерживающий до 248 токенов текста; упрощённый способ загрузки обрезает текст до 77 токенов. Автор сообщает об улучшении точности на ImageNet/ObjectNet до 0,89 относительно примерно 0,81 у исходного LongCLIP, но это результат указанной оценки, а не гарантия для других данных. Для корректной загрузки в Transformers и интеграции с ComfyUI могут потребоваться специальные настройки или узлы. В карточке указана лицензия MIT для исходной модели OpenAI CLIP; отдельные условия лицензирования дообученной модели не уточнены.

SceneWorks/Mage-Flow-Edit — архивная копия модели Microsoft Mage-Flow-Edit для редактирования изображений по текстовым инструкциям. Репозиторий заявлен как побайтовое зеркало microsoft/Mage-Flow-Edit на зафиксированной версии; веса не переобучались, не квантизировались и не конвертировались. Модель относится к семейству Mage-Flow: в стеке используются 4B-мультимодальный диффузионный трансформер NR-MMDiT с rectified flow, латентный кодировщик-декодер Mage-VAE и текстовый энкодер Qwen3-VL. Модель принимает изображение и текстовую инструкцию и предназначена для семантического редактирования, преобразования внешнего вида, восстановления изображений и генерации вариантов с учётом структуры исходного изображения. Архитектура семейства рассчитана на работу с разрешениями от 512 до 2048 пикселей и разными соотношениями сторон. Карточка описывает семейство как компактный и эффективный стек, но не приводит отдельные результаты или ограничения именно этого варианта Edit. Лицензия — MIT.

Карточка модели arifqai/Mage-Flow-Edit-Turbo на Hugging Face совпадает с карточкой mage-flow-community/Mage-Flow-Edit-Turbo, поэтому описание составлено по ней. Mage-Flow-Edit-Turbo — вариант модели Mage-Flow-Edit от команды Mage-Flow, предназначенный для редактирования изображений по текстовым инструкциям. Это компактная модель семейства Mage-Flow с общей для генерации и редактирования архитектурой NR-MMDiT на 4 млрд параметров и латентным токенизатором Mage-VAE; обучение использует rectified flow. Вариант Turbo рассчитан на быстрое редактирование за четыре шага генерации. Модель принимает исходное изображение и текстовую инструкцию. Она подходит для изменения объектов и сцен, преобразования внешнего вида и художественного стиля, восстановления изображений и получения вариантов результата с учётом структуры исходника. Семейство ориентировано на работу с изображениями разного соотношения сторон и разрешением от 512 до 2048 пикселей; для Mage-Flow-Edit-Turbo в README указано время редактирования около 1,02 секунды для изображения 1024×1024 на одной A100. Репозиторий использует Diffusers и содержит веса в формате safetensors. Лицензия — MIT. Для запуска описана установка компонентов CUDA, включая flash-attn; приведённые показатели скорости относятся к указанному оборудованию и не гарантируют такую же задержку в других условиях.

Mage-Flow-Edit-Turbo — вариант модели Mage-Flow-Edit для редактирования изображений по текстовым инструкциям, разработанный командой Mage-Flow. Это мультимодальный диффузионный трансформер NR-MMDiT с 4 млрд параметров, работающий в латентном пространстве Mage-VAE и обученный методом rectified flow. Версия Turbo использует дистиллированный режим генерации за четыре шага. Модель принимает исходное изображение и текстовую инструкцию. Она предназначена для смыслового и локального редактирования содержимого, преобразования внешнего вида и стиля, изменения сцен и объектов, восстановления изображений и других преобразований с учётом структуры. Семейство рассчитано на работу с изображениями в родном разрешении от 512 до 2048 пикселей и разными соотношениями сторон; в README приведены результаты редактирования на изображениях 1024×1024. Репозиторий распространяется в формате Diffusers с весами Safetensors. Указана лицензия MIT. Для запуска описана установка CUDA-зависимостей, включая flash-attn. README заявляет интерактивную скорость редактирования, но фактическая производительность зависит от оборудования; указанное измерение для Turbo получено на одном A100.

UCSC-VLAA/openvision-vit-small-patch16-224 — визуальный энкодер из семейства OpenVision, описанного в работе «OpenVision: A Fully-Open, Cost-Effective Family of Advanced Vision Encoders for Multimodal Learning». Репозиторий содержит веса модели в формате PyTorch и предназначен для извлечения признаков изображений, а также для классификации изображений по текстовым описаниям без дополнительного обучения. Модель рассчитана на мультимодальные сценарии, где визуальные признаки используются для сопоставления изображений с текстовыми запросами. По названию репозитория это вариант ViT-Small с патчами 16×16 и входным разрешением 224 пикселя. Лицензия — Apache-2.0.

Репозиторий Yahoo Inc. сопровождает исследовательскую работу о генерации фона вокруг заметного объекта с помощью текстово-управляемых диффузионных моделей. Он предназначен для создания или замены фона на изображении, сохраняя идентичность и форму главного объекта; среди возможных сценариев авторы отмечают подготовку рекламных изображений для электронной коммерции. В отличие от обычного заполнения маски, подход нацелен на снижение нежелательного расширения или искажения объекта при генерации. Модель загружается как конвейер Diffusers на основе StableDiffusionControlNetInpaintPipeline; поддерживаются генерация изображения по тексту и преобразование изображения. Репозиторий связан с работой, принятой на семинар CVPR 2024 Generative Models for Computer Vision. Лицензия — Apache-2.0. В README не приведены размер модели, длина контекста или список поддерживаемых языков.

Карточка модели tomsanbear/pp-ocrv5-mobile-det на Hugging Face совпадает с карточкой PaddlePaddle/PP-OCRv5_mobile_det_safetensors, поэтому описание составлено по ней. PP-OCRv5_mobile_det — мобильная модель обнаружения текстовых областей из серии PP-OCRv5_det, разработанная командой PaddleOCR. Она находит текст на изображениях, включая рукописный, вертикальный, повернутый и изогнутый текст, и рассчитана на работу со сложной разметкой, разным размером надписей и трудным фоном. Модель подходит для анализа документов, распознавания текста на номерных знаках и поиска надписей в сценах. В карточке приведены метрики обнаружения для китайского, английского и японского текста, включая рукописные, искажённые и художественные надписи; среднее значение указанных метрик — 0,770. Это детектор текстовых областей: README не описывает распознавание содержания найденного текста. Модель представлена в формате safetensors и предназначена для использования с библиотекой PaddleOCR. Лицензия — Apache-2.0.

Qwen-Image-Edit-Causal — версия модели редактирования изображений Qwen-Image-Edit-2511 с блочно-каузальным механизмом внимания. Её назначение — редактировать изображение по текстовому запросу; механизм внимания призван ускорить инференс. Репозиторий представлен в форматах Diffusers и safetensors и использует Apache License 2.0.

unsloth/Qwen-Image-Edit-GGUF — квантизированная в формате GGUF версия модели Qwen-Image-Edit, разработанная Unsloth на базе 20B-модели Qwen-Image от команды Qwen. Модель предназначена для редактирования изображений по текстовым инструкциям и относится к задачам image-to-image. Она поддерживает одновременное управление визуальной семантикой и внешним видом изображения. Модель подходит для добавления, удаления и изменения объектов, локального редактирования с сохранением остальных областей, стилизации, переноса стиля, поворота объектов и создания оригинальных персонажей или визуальных концепций. Она также умеет редактировать текст внутри изображений на китайском и английском языках, сохраняя исходные шрифт, размер и стиль. Для визуального семантического контроля используется Qwen2.5-VL, а для контроля внешнего вида — VAE Encoder. Разработчики заявляют высокие результаты на нескольких публичных бенчмарках редактирования изображений. Сильные стороны модели — сочетание семантического и низкоуровневого редактирования, точная работа с китайским и английским текстом и применение Unsloth Dynamic 2.0 для квантизации с повышенной точностью важных слоёв. Точный размер GGUF-файлов, требования к оборудованию, поддерживаемые разрешения и полный перечень вариантов квантизации в README не указаны. Модель распространяется по лицензии Apache-2.0.

OzzyGT/RealVisXL_V4.0_inpainting — версия модели RealVisXL_V4.0 для заполнения и изменения выбранных областей изображения. Это дообученная модель на базе SG161222/RealVisXL_V4.0, размещённая в формате Diffusers с весами safetensors и точностью fp16. Базовая модель предназначена для фотореалистичной генерации изображений по текстовому описанию; этот вариант использует StableDiffusionXLInpaintPipeline. Модель подходит для редактирования изображений по маске: например, замены или восстановления части сцены с помощью текстовой инструкции. Репозиторий распространяется по лицензии openrail++.

Карточка модели phan-kim-tu/RMBG-1.4 на Hugging Face совпадает с карточкой briaai/RMBG-1.4, поэтому описание составлено по ней. BRIA RMBG v1.4 — модель сегментации для удаления фона, разработанная BRIA AI. Она выделяет передний план на изображении и подходит для обработки фотографий объектов, людей, товаров, игровых и рекламных материалов, в том числе для создания контента в больших объёмах. Модель основана на IS-Net и обучена на более чем 12 000 высококачественных изображений с попиксельной разметкой. В обучающих данных представлены фотореалистичные и нефотореалистичные изображения, однотонные и сложные фоны, одиночные и множественные объекты. Конкретные размер модели и длина контекста не относятся к указанным характеристикам. По карточке модели, она доступна для некоммерческого использования по лицензии Creative Commons; коммерческое применение требует отдельного соглашения с BRIA. Модель предназначена для удаления фона и не является универсальным инструментом сегментации для произвольных классов.

RedbeardNZ выпустил сборку SeedVR2 для использования в ComfyUI. Она предназначена для повышения разрешения и восстановления качества видео и изображений с помощью моделей SeedVR2; для видео README приводит примеры увеличения разрешения до 1080p и выше. В репозитории указаны варианты SeedVR2 на 3B и 7B параметров, а метаданные связывают модель с ByteDance-Seed/SeedVR2-3B и ByteDance-Seed/SeedVR2-7B. Формат файлов — safetensors, библиотека — diffusers, лицензия — Apache-2.0. Сборка ориентирована на узел ComfyUI и допускает обработку видео разной длительности при подборе настроек. README сообщает о высокой потребности в видеопамяти: для версии 3B автор приводит ориентир не менее 18 ГБ; скорость зависит от GPU. Отдельно отмечены возможные проблемы качества у варианта 7B FP8, для которого рекомендуется FP16.

Veritone/siglip2-base-patch16-224 — модель семейства SigLIP 2, разработанная Veritone на основе архитектуры SiglipModel. Это визуально-текстовая модель для классификации изображений по заданным текстовым меткам без отдельного обучения, поиска изображений по тексту и использования в качестве визуального энкодера для мультимодальных моделей. Модель принимает изображение и текстовые описания кандидатов, сопоставляет их и выдаёт оценки соответствия; размер изображения — 224 × 224 пикселя, размер патча — 16 пикселей. Предобучена на наборе WebLI. SigLIP 2 объединяет улучшения предобучения для семантического понимания изображений, локализации объектов и получения плотных визуальных признаков. Репозиторий содержит веса в формате safetensors, использовать модель можно через Transformers. Лицензия — Apache 2.0. В карточке указано назначение для zero-shot классификации, поиска изображений по тексту и применения как визуального энкодера.

SigLIP 2 Base — базовая модель семейства SigLIP 2, разработанная Google. Она обучена на наборе данных WebLI и предназначена для сопоставления изображений и текста: модель поддерживает классификацию изображений по заданным текстовым меткам без дополнительного обучения и поиск изображений по текстовым запросам или текста по изображениям. Её также можно использовать как визуальный энкодер для мультимодальных языковых моделей и других задач компьютерного зрения. Модель принимает изображение и текстовые описания-кандидаты и оценивает их соответствие; визуальный энкодер формирует представления изображений для дальнейшего использования. В карточке указана архитектура SigLIP, библиотека Transformers и формат весов safetensors. Модель доступна по лицензии Apache-2.0. README не приводит сведений о размере параметров и длине контекста.

Veritone/siglip2-base-patch16-512-vision — это отдельная зрительная башня SigLIP 2 Base, созданная на основе google/siglip2-base-patch16-512. Репозиторий содержит только vision tower: она кодирует изображения и видеокадры в общее пространство эмбеддингов и рассчитана на отдельную загрузку при индексации. Текстовая башня для этапа поиска размещена в Veritone/siglip2-base-patch16-512-text. Модель на базе архитектуры SigLIP предназначена для классификации изображений по текстовым меткам без дообучения, поиска по сходству изображений и текста, а также использования в качестве визуального энкодера для мультимодальных моделей. SigLIP 2 предварительно обучена на наборе WebLI; версия Base использует изображения с разрешением 512 пикселей и патчи 16. Модель распространяется в формате Safetensors и доступна по лицензии Apache-2.0. Для сравнения изображения с текстовыми запросами нужна совместимая текстовая башня; этот репозиторий содержит только зрительную часть.

Карточка модели Veritone/siglip2-so400m-patch14-384 на Hugging Face совпадает с карточкой google/siglip2-so400m-patch14-384, поэтому описание составлено по ней. SigLIP 2 So400m — модель визуального кодировщика от Google, обученная для совместного понимания изображений и текста. Она развивает подход SigLIP, объединяя несколько методов предобучения; в карточке Hugging Face указана архитектура семейства SigLIP и библиотека Transformers. Модель предварительно обучена на наборе WebLI. Модель подходит для классификации изображений по текстовым меткам без специального обучения, поиска соответствий между изображениями и текстом, а также для использования в качестве визуального энкодера в мультимодальных языковых моделях и других задачах компьютерного зрения. Она принимает изображения и текстовые описания или метки и формирует представления, используемые для сопоставления и классификации. Модель распространяется по лицензии Apache-2.0. Оценочные результаты приведены в README со ссылкой на исследовательскую работу; конкретные ограничения и показатели качества для отдельных сценариев в доступных материалах не описаны.

SigLIP 2 So400m — модель семейства SigLIP 2, разработанная Google. Это визуальный энкодер, обученный на WebLI и предназначенный для сопоставления изображений с текстовыми описаниями. Модель поддерживает классификацию изображений по произвольным текстовым меткам без отдельного обучения и поиск изображений по тексту или текста по изображению; её также можно использовать как визуальную часть мультимодальных систем и в других задачах компьютерного зрения. Модель принимает изображения и текстовые описания, кодирует их для сравнения и выдаёт оценки соответствия. Архитектура SigLIP, вариант So400m; доступные веса представлены в формате safetensors и используются через Transformers. В README отмечены улучшенное семантическое понимание, локализация и плотные визуальные признаки. Лицензия — Apache-2.0. Размер модели и длина контекста в предоставленных данных не указаны.

Карточка модели jiangjiangjiangjiang11/stable-diffusion-2-inpainting на Hugging Face совпадает с карточкой sd2-community/stable-diffusion-2-inpainting, поэтому описание составлено по ней. Stable Diffusion 2 Inpainting — модель латентной диффузии для редактирования изображений по текстовому запросу и маске. Этот репозиторий является зеркалом устаревшей модели stabilityai/stable-diffusion-2-inpainting; авторы модели — Робин Ромбах и Патрик Эссер, зеркало не связано со Stability AI. Модель создана на основе stable-diffusion-2-base и дополнительно обучена на 200 тысячах шагов. Для задания текста использует фиксированный предварительно обученный энкодер OpenCLIP-ViT/H, а маска и латентное представление изображения служат дополнительными условиями генерации. Модель предназначена для заполнения или изменения выбранных областей изображения, а также творческого дизайна и исследовательской работы с генеративными моделями. Карточка описывает применение через Diffusers; метаданные указывают форматы Diffusers, PyTorch и safetensors. Основной язык запросов — английский: модель обучалась преимущественно на английских подписях, поэтому запросы на других языках могут работать хуже. Лицензия — CreativeML Open RAIL++-M License.

Step1X-Edit-v1p1-diffusers — модель StepFun AI для редактирования изображений по текстовым инструкциям. Она использует MLLM для интерпретации запроса и генерации токенов редактирования, а затем декодирует их в изображение с помощью сети на основе DiT. Версия v1.1 также поддерживает генерацию изображений по тексту. Модель предназначена для изменения загруженного изображения по запросу и создания изображения по текстовому описанию. В README сообщается об улучшении качества редактирования и следования инструкциям относительно версии v1.0; приведены результаты оценки на GEdit-Bench-EN. Репозиторий использует библиотеку Diffusers и содержит веса в формате safetensors. Лицензия — Apache-2.0.

TIPSv1 L/14 — контрастивная модель «изображение–текст» семейства TIPS, представленная в README как конверсия официальных чекпойнтов. Она кодирует изображения и текст в согласованные векторы признаков и предназначена для классификации изображений по текстовым описаниям без отдельного обучения на новых классах. Модель разработана для пространственно насыщенных визуальных признаков; её зрительная часть — ViT-L/14 с 24 слоями и двумя CLS-токенами, а текстовая — 12-слойный трансформер. Всего указано 304 млн параметров в зрительной части и 184 млн в текстовой, размерность эмбеддинга — 1024. Нативное разрешение изображений — 448 пикселей; поддерживаются и другие разрешения, кратные размеру патча, с интерполяцией позиционных эмбеддингов. Изображения подаются в диапазоне [0, 1] без нормализации ImageNet. Текст обрабатывается токенизатором SentencePiece в нижнем регистре с ограничением в 64 токена. Первый CLS-токен согласован с текстовой частью, второй обучался на синтетических подписях. Модель принимает изображения и текст и выдаёт векторные представления для сопоставления и классификации. README не сообщает, какие естественные языки поддерживаются. Лицензия — Apache-2.0.

zeromodels/tipsv2-so400m14 — конверсия модели Google DeepMind TIPSv2 в Keras 3, распространяемая проектом zeromodels. Это двухбашенная модель типа CLIP/SigLIP: визуальная башня на основе ViT в стиле DINOv2 с register-токенами и двунаправленная текстовая башня, обученные сопоставлять изображения и текст контрастивным методом. Модель предназначена для классификации изображений по текстовым меткам без специального обучения на этих метках и получения согласованных визуальных и текстовых признаков. В репозитории доступны полная модель и обе башни; реализация Keras 3 работает с TensorFlow, Torch и JAX. Для обработки изображений используется разрешение 448 пикселей и масштабирование значений в диапазон [0, 1]. Модель принимает изображения и текстовые метки и выдаёт оценки соответствия; лицензия Apache-2.0.