IV.1Ритейл, электронная коммерция и fashion-tech

Это визуальный энкодер DINOv3 ViT-L/16 из библиотеки timm, созданный на основе DINOv3 ViT-7B и дистиллированный на наборе изображений LVD-1689M. Модель содержит 303,1 млн параметров и предназначена для извлечения признаков и эмбеддингов изображений; входной размер изображения в карточке — 256 × 256 пикселей. Полученные представления можно использовать как основу для классификации изображений, сегментации и других задач компьютерного зрения, включая дообучение на собственных данных. Модель работает с изображениями и возвращает векторы признаков; это не генератор изображений и не текстово-визуальная диалоговая модель. В README отмечены технические нюансы реализации в timm: смещения QKV отключены, поскольку исходные значения были нулевыми, а периоды RoPE представлены с другой точностью, что может вызывать небольшие численные расхождения с исходной реализацией. Лицензия указана как DINOv3, а в метаданных Hugging Face — как other; точные условия следует сверять с лицензией проекта DINOv3.

ViTMatte-base-distinctions-646 — модель компьютерного зрения, разработанная командой ViTMatte и обученная на наборе Distinctions-646. Она предназначена для image matting: оценки маски и прозрачности переднего плана, чтобы отделять объект от фона на изображении. Архитектура включает Vision Transformer и лёгкую предсказательную голову; в репозитории доступны веса PyTorch в формате safetensors. Модель подходит для выделения объектов и подготовки изображений с прозрачным фоном, например для редактирования фотографий и графического дизайна. Карточка не приводит сведения о размере модели, языках или числовой длине контекста; для этой задачи модель принимает изображение и выдаёт маттинг-результат. Лицензия — Apache-2.0.

ViTMatte-small-distinctions-646 — модель компьютерного зрения, обученная командой ViTMatte на наборе Distinctions-646 и представленная в работе Yao и соавторов «ViTMatte: Boosting Image Matting with Pretrained Plain Vision Transformers». Архитектура сочетает Vision Transformer и лёгкую выходную голову; модель предназначена для отделения переднего плана от фона и оценки маттинга на изображении. Модель подходит для извлечения объектов и людей с аккуратными границами, например волос или полупрозрачных участков. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — Apache-2.0. README отсылает к документации для примеров использования; сведения о длине контекста и поддерживаемых языках к модели неприменимы.

BiRefNet_lite — облегчённая модель сегментации изображений из семейства BiRefNet, разработанного Peng Zheng и соавторами из нескольких университетов и исследовательских организаций. Репозиторий содержит веса официальной реализации метода Bilateral Reference for High-Resolution Dichotomous Image Segmentation; архитектура обозначена как BiRefNet. Модель предназначена для выделения объектов на изображении и создания масок, в том числе для удаления фона, обнаружения заметных и замаскированных объектов. Она принимает изображение и выдаёт сегментационную маску. Веса доступны в формате safetensors, библиотека — birefnet. Репозиторий распространяется по лицензии MIT. README не приводит размер облегчённой версии, поддерживаемые разрешения или количественные оценки качества, поэтому эти характеристики нельзя уточнить по имеющимся данным.

Boogu-Image-0.1-Edit-Turbo — вариант семейства моделей Boogu-Image-0.1, разработанный командой Boogu для быстрого редактирования изображений. Это унифицированная модель генерации и редактирования изображений; карточка описывает вставку, замену и удаление объектов, изменение атрибутов и материалов, замену фона и перенос художественного стиля. Для работы используется библиотека Diffusers, веса представлены в формате safetensors. Модель рассчитана на текстовые запросы на английском и китайском языках и входные изображения. Модель предназначена для творческого редактирования фотографий, изображений с текстом, постеров и предметных визуализаций. Лицензия — Apache-2.0. README обозначает проект как исследовательский и предупреждает, что это не официальный релиз модели. Среди ограничений — нестабильное сохранение идентичности, композиции и мелких деталей при редактировании. Длинный текст, мелкий шрифт и сложная вёрстка могут содержать ошибки; тела в сложных позах и мелкие лица или конечности также могут выглядеть неестественно.

Catrex Lite Image Segmentation — компактная нейросеть для сегментации изображений, разработанная Catniti и обученная с нуля. Она предназначена для выделения объектов и удаления фона; карточка указывает набор данных DIS5K и оценку F1 0,6461 на DIS-VD при разрешении 512×512. Модель доступна в форматах Safetensors и ONNX, а README описывает запуск через ONNX Runtime в браузере, Node.js и Python. Лицензия — Apache 2.0. Показатели на DIS-VD и разрешение из карточки не гарантируют аналогичного качества на других изображениях и задачах сегментации.

thwri опубликовал дообученную версию Florence-2-large от Microsoft. Модель обучена на подмножестве из 38 000 изображений датасета Ejafa/ye-pop; обучающие подписи были созданы с помощью THUDM/cogvlm2-llama3-chat-19B. Модель предназначена для создания текстовых описаний изображений и может использоваться для автоматического составления подписей к изображениям. Она основана на архитектуре Florence-2, работает с изображениями и выдаёт текст. Репозиторий использует библиотеку Transformers и формат safetensors. Лицензия — MIT. Карточка не приводит оценок качества или подробностей о контексте применения; описание не позволяет судить о надёжности модели на разных типах изображений.

Карточка модели Alibaba-NLP/core-reranker-8b на Hugging Face совпадает с карточкой Alibaba-NLP/core-emb-2b, поэтому описание составлено по ней. Core-Embed-2B — мультимодальная модель эмбеддингов, разработанная Alibaba-NLP на архитектуре Qwen3-VL. Она преобразует текст и изображения в плотные векторы для поиска и сопоставления, уделяя особое внимание композиционным связям между атрибутами и объектами: например, различает изображение с белой тарелкой и чёрным стулом от изображения с обратным сочетанием цветов. Модель содержит 2 млрд параметров и рассчитана на извлечение признаков из текста и изображений. Модель обучена дистилляцией оценок ранжирования: её эмбеддинги учатся сохранять градации соответствия между запросом и кандидатами, включая ошибки атрибутов и объектов. Это помогает выполнять тонкий мультимодальный поиск, сохраняя качество обычного поиска изображений и текстов. Для запуска требуется версия Transformers с поддержкой Qwen3-VL. Модель распространяется по лицензии CC BY 4.0. Карточка описывает семейство и результаты Core-Embed-8B, но не приводит отдельные численные оценки для версии 2B.

Nano Banana Pro — модель Google для генерации и редактирования изображений на основе Gemini 3 Pro. Она предназначена для создания изображений по текстовым запросам и изменения существующих изображений с использованием мультимодального рассуждения и привязки к реальному миру.

GIT-large (GenerativeImage2Text) — модель Microsoft для генерации текста по изображениям. Она использует декодер Transformer, обусловленный визуальными токенами CLIP и текстовыми токенами, и предсказывает текст по одному токену. Вариант large обучен на 20 миллионах пар изображение—текст; размер модели — 80,1 млн параметров, контекст — 1024 токена. Модель предназначена прежде всего для описания изображений. Архитектура GIT также подходит для визуальных вопросов и ответов, подписей к видео и классификации изображений через генерацию текстовой метки, однако README рекомендует использовать этот исходный чекпойнт для описания изображений. Модель принимает изображения и текстовый запрос, выдаёт текст; в метаданных указан английский язык. Качество зависит от содержания изображения и обучающих данных, а ответы могут быть неточными или упускать детали. Лицензия — MIT.

ICver6dcocoswingpt250Bpc1e — модель преобразования изображений в текст на основе архитектуры VisionEncoderDecoder. Она дообучена VK246 на датасете COCO от базовой модели VK246/IC_ver6c_coco_swin_gpt2_50Apc_1e. Модель предназначена для генерации текстовых описаний изображений; карточка приводит результаты оценки на тестовом наборе COCO: Loss 0,7897, ROUGE-1 42,1846, ROUGE-2 16,6343, ROUGE-L 38,2927 и BLEU 10,4949. Размер модели, поддерживаемые языки и условия лицензии в доступных сведениях не приведены. Описание модели и её ограничений в карточке не раскрыто; качество может зависеть от изображений и распределения данных.

alpindale/Llama-3.2-90B-Vision-Instruct — мультимодальная инструктивная модель семейства Llama 3.2-Vision, разработанного Meta. Она принимает изображения и текст и генерирует текстовые ответы; подходит для визуального распознавания, рассуждений по изображениям, описания сцен и диалога с изображением. Модель построена на авторегрессионной архитектуре Transformer Llama 3.1 с vision-адаптером: кросс-внимание передаёт в языковую модель представления изображения. Размер версии — 90B параметров; контекст — до 128 тыс. токенов. Для текстовых задач заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; в сценариях с изображениями официально поддерживается английский. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Модель предназначена для визуальных вопросов и ответов, анализа изображений и документов, генерации подписей, поиска соответствий между изображениями и текстом, а также визуального grounding. Карточка сообщает о настройке инструктивной версии с помощью SFT и RLHF. Модель обучена на статичном офлайн-наборе данных с отсечкой знаний в декабре 2023 года. Использование регулируется пользовательской коммерческой лицензией Llama 3.2 и Acceptable Use Policy.

Amazon Nova Pro 1.0 — мультимодальная модель Amazon для широкого круга задач, сочетающая точность, скорость и экономичность. Каталог классифицирует её как модель image-text-to-text, то есть она предназначена для обработки изображений и текста с выдачей текстовых ответов. Доступная карточка не содержит сведений об архитектуре, размере, контекстном окне, языках или лицензии.

zeromodels/owlvit-base-patch16 — конверсия модели OWL-ViT от Google в формате Keras 3, распространяемая проектом zeromodels. Это модель обнаружения объектов с открытым словарём: она находит на изображениях объекты, описанные свободными текстовыми запросами, без фиксированного набора классов. Архитектура использует визуальный и текстовый энкодеры в стиле CLIP и лёгкую голову предсказания рамок для каждого патча изображения; кандидаты оцениваются по косинусному сходству с текстовыми запросами. Модель предназначена для поиска объектов по текстовому описанию, в том числе классов, не заданных при обучении. Реализация Keras 3 рассчитана на запуск с TensorFlow, Torch или JAX. Для модели указана лицензия Apache 2.0. Порог обнаружения для открытого словаря часто требуется выбирать ниже, чем у детекторов с фиксированными классами.

zeromodels/owlvit-large-patch14 — конверсия модели OWL-ViT Large Patch14 от Google в Keras 3, подготовленная проектом zeromodels. Это модель обнаружения объектов с открытым словарём: она принимает изображение и текстовые запросы с описаниями объектов, а затем возвращает кандидаты ограничивающих рамок с оценками сходства. Архитектура основана на визуальном и текстовом энкодерах в стиле CLIP; к токенам патчей добавлена лёгкая голова предсказания рамок. Модель предназначена для поиска на изображениях объектов, заданных свободным текстом, без фиксированного списка классов. Реализация Keras 3 работает с TensorFlow, PyTorch и JAX; в репозитории указаны веса в формате TensorFlow. Для открытого словаря могут понадобиться более низкие пороги обнаружения, чем у детекторов с фиксированными классами. Лицензия — Apache 2.0.

PaliGemma 3B FT COCO Caption — дообученная Google модель «зрение—язык», построенная на основе визуальной модели SigLIP и языковой модели Gemma. Вариант предназначен для создания текстовых подписей к изображениям по датасету COCO. Модель принимает изображение и текстовый запрос и генерирует текст; PaliGemma рассчитана на одношаговую обработку, а не на многоходовый диалог. Семейство PaliGemma также поддерживает визуальные вопросы и ответы, чтение текста на изображении, обнаружение и сегментацию объектов, однако этот чекпойнт настроен для подписей к изображениям. Модель лучше работает с чёткими запросами; она может ошибаться в распознавании содержания изображения и генерировать неверные ответы. Лицензия — Gemma.

gokaygokay/paligemma-rich-captions — дообученная модель семейства PaliGemma, разработанная автором репозитория на базе PaliGemma и обученная на датасете google/docci. Она принимает изображение и текстовый запрос и формирует текстовое описание изображения длиной примерно 200–350 символов. Модель предназначена для создания более подробных подписей к изображениям; автор отмечает снижение числа галлюцинаций. Модель использует архитектуру PaliGemma для условной генерации текста по изображению. В метаданных указаны поддержка английского языка, библиотека Transformers и формат весов safetensors. Лицензия — Apache-2.0. Данные не сообщают размер модели или длину контекста.

PRX-1024-t2i-beta — модель генерации изображений по текстовому описанию, разработанная Photoroom. Это предварительный вариант семейства PRX с разрешением 1024 пикселя; модель обучена с нуля и затем прошла supervised fine-tuning (SFT). Она использует упрощённую архитектуру на основе MMDiT, flow matching и текстовый энкодер T5-Gemma-2B-2B-UL2 для многоязычного ввода. В качестве латентного кодировщика применяется Flux VAE. Модель предназначена для создания изображений по промптам и служит открытой базовой моделью для генерации, тонкой настройки и изучения диффузионных трансформеров. Репозиторий рассчитан на использование с Diffusers и содержит веса в формате safetensors. Лицензия — Apache 2.0; также действуют ограничения Gemma Prohibited Use Policy и требования применимого законодательства.

GalvinNguyen/vian_ai_shop — дообученная модель разработчика Glavinnguyen на основе google/gemma-4-e2b-it. Она предназначена для стандартизации формата, стиля и структуры ответов в сценариях поддержки, продаж и маркетинга для магазина. Карточка описывает её как модель генерации текста с интерфейсом для работы с текстом, изображениями и аудио; основными языками названы вьетнамский и английский. В метаданных указана архитектура Gemma4ForConditionalGeneration и формат safetensors. Дообучение выполнено на небольшом тщательно отобранном наборе данных и ориентировано на поведение и оформление ответов, а не на расширение знаний. Модель не рекомендуется использовать без проверки человеком для задач, требующих широких знаний за пределами обучающих данных. Лицензия — MIT.

Vit2-DistilGPT2 — модель описания изображений, обученная автором карточки на датасете COCO. Она принимает изображение и генерирует текстовую подпись; архитектура объединяет визуальный энкодер с языковым декодером. В метаданных указаны формат PyTorch и safetensors, лицензия MIT и поддержка английского языка. Модель подходит для автоматического создания кратких подписей к изображениям и базового описания визуального содержимого. В README отмечены возможные повторения в сгенерированном предложении и смещения, в том числе гендерные; автор связывает их с данными, ограниченным обучением и самой моделью.

Image-Captioning-ML/Vit-GPT2-COCO2017Flickr-115k-12 — дообученная модель для создания текстовых описаний изображений. Она использует архитектуру vision-encoder-decoder: визуальный вход обрабатывается энкодером, а текст генерирует декодер. В метаданных указан формат safetensors и лицензия Apache-2.0. Модель подходит для автоматического создания коротких подписей к изображениям и генерации описаний для наборов фотографий. README приводит результаты оценки: длина генерации около 11,93 токена, loss 0,5262, ROUGE-1 40,547, ROUGE-2 14,9559 и ROUGE-L 36,6474. Базовая модель указана как NourFakih/Vit-GPT2-COCO2017Flickr-115k-12. Данные дообучения в README названы неизвестными, поэтому результаты нельзя уверенно переносить на другие типы изображений; языки генерации также не описаны.

timm/vit_small_patch8_224.dino — небольшая модель Vision Transformer (ViT), представленная в библиотеке timm и обученная методом самообучения DINO на ImageNet-1k. Она предназначена для извлечения признаков и эмбеддингов изображений, а также может служить основой для классификации изображений. Модель содержит 21,7 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Её можно применять для получения визуальных признаков в системах поиска по изображениям, кластеризации и последующей классификации. Репозиторий содержит веса PyTorch и SafeTensors; лицензия — Apache-2.0. Ограничение: входной размер изображения в карточке указан как 224 × 224 пикселя; описание не сообщает о поддержке других разрешений или мультимодального ввода.

studioludens/birefnet-lite-512 — браузерная ONNX-версия модели BiRefNet_lite, разработанная сообществом studioludens на основе ZhengPeng7/BiRefNet_lite. Модель предназначена для удаления фона, выделения переднего плана и построения высококачественных alpha-matte для изображений, включая уточнение границ объектов при foreground extraction. Она использует датасет DIS5K и применяется, в частности, в Repper для поэлементного уточнения масок. Обработка выполняется полностью на стороне клиента без передачи изображений на сервер. Модель принимает RGB-изображение, изменённое до 512×512, и возвращает одноканальные logits размером 512×512; для получения alpha-matte необходимо применить sigmoid и масштабировать результат до исходного разрешения. Это ONNX-граф с вариантами fp32 размером 183 МБ и fp16 размером 94 МБ, рассчитанный на работу через transformers.js с WebGPU и резервным режимом WASM. Уменьшение разрешения с 1024×1024 снижает потребление памяти и делает модель пригодной для браузеров, сохраняя, согласно README, сопоставимое качество на небольших фрагментах изображений. К сильным сторонам относятся клиентская работа, поддержка WebGPU, отсутствие серверного обмена данными и пригодность для задач маттинга и сегментации переднего плана. Ограничения — фиксированный вход 512×512, необходимость внешнего применения sigmoid и последующего масштабирования, а также более низкое входное разрешение по сравнению с исходными вариантами 1024×1024. Модель распространяется по лицензии MIT.

Карточка модели frankjoshua/BiRefNet-matting на Hugging Face совпадает с карточкой ZhengPeng7/BiRefNet-matting, поэтому описание составлено по ней. BiRefNet-matting — модель Peng Zheng и соавторов для высококачественного выделения переднего плана на изображениях, в частности людей и объектов с тонкими контурами. Она основана на архитектуре BiRefNet и предназначена для сегментации и маттинга: по изображению создаёт маску переднего плана, которую можно использовать для удаления или замены фона. В карточке указаны обучение на наборах данных для сегментации людей и изображений с разнообразными объектами и результат на тестовом наборе TE-P3M-500-NP. Модель распространяется в формате safetensors и использует библиотеку BiRefNet. Лицензия — MIT. Карточка ссылается на основной репозиторий BiRefNet за инструкциями по использованию; подробности о размере модели и требованиях к запуску здесь не приведены.

BiRefNet-ONNX — модель для высокоточной дикотомической сегментации изображений, удаления фона и построения масок объектов. Модель разработана авторами Peng Zheng, Dehong Gao, Deng-Ping Fan, Li Liu, Jorma Laaksonen, Wanli Ouyang и Nicu Sebe при участии Nankai University, Northwestern Polytechnical University, National University of Defense Technology, Aalto University, Shanghai AI Laboratory и University of Trento. Репозиторий ONNX-версии поддерживается сообществом onnx-community на базе ZhengPeng7/BiRefNet. Модель принимает изображение и генерирует маску или alpha matte объекта, поэтому подходит для удаления фона, выделения заметных объектов и обнаружения замаскированных объектов. Она ориентирована на обработку изображений высокого разрешения и может использоваться в JavaScript-приложениях через Transformers.js, включая выполнение в веб-среде при наличии совместимой поддержки ONNX. README не содержит сведений о точном размере модели, архитектурных компонентах, поддерживаемых языках, максимальном размере контекста или перечне модальностей; фактически указана только модальность изображений. К сильным сторонам относятся специализация на высококачественных масках, поддержка задач image matting и сегментации, а также формат ONNX для интеграции с веб-инструментами. Ограничения и показатели качества в README не приведены, поэтому нельзя оценить производительность, требования к ресурсам или устойчивость на разных типах изображений. Модель распространяется по лицензии MIT.

Boogu-Image-0.1-Turbo — вариант семейства Boogu-Image-0.1, разработанного командой Boogu. Это модель генерации изображений по тексту на базе Diffusers; семейство также включает варианты для редактирования изображений. Turbo предназначена для ускоренной генерации. Модель создаёт фотореалистичные и стилизованные изображения, плакаты и продуктовые визуализации, а также умеет отображать китайский и английский текст в изображениях. Модель ориентирована на генерацию с согласованной композицией, освещением и деталями, включая сцены с несколькими объектами. Вариант семейства для редактирования поддерживает добавление, замену и удаление объектов, изменение атрибутов и точечное редактирование текста, однако README не уточняет, доступны ли эти возможности именно в Turbo. Карточка называет проект исследовательским и предупреждает, что это не официальный релиз модели. Указана лицензия Apache-2.0. Ограничения включают слабее развитое понимание фактов о брендах, людях и контекстах, нестабильность сохранения деталей при редактировании, ошибки в длинном или мелком тексте и артефакты в анатомии сложных поз. Текстовая генерация оптимизирована для китайского и английского; другие языки могут работать хуже.

CIM-LLaVA1.5-7B-SFT — мультимодальная модель семейства LLaVA, дообученная авторами с помощью SFT и GRPO с наградой Cross-modal Identity Mapping (CIM), описанной в статье CVPR 2026. Она предназначена для создания точных подробных подписей к изображениям: награды Gallery Representation Consistency и Query-gallery Image Relevance помогают сохранять информацию об изображении при преобразовании в текст без дополнительных аннотаций. Модель принимает изображение и текстовый запрос и генерирует текст; её можно использовать для описания содержимого изображений и ответов на вопросы о них. Это дообучение LLaVA-1.5-7B, архитектура LlavaForConditionalGeneration, плотная модель с контекстом 4096 токенов. Репозиторий использует формат safetensors и лицензию Llama 2.

thwri опубликовал дообученную версию Florence-2-large от Microsoft для создания описаний изображений. Модель обучена на 40 000 изображений из поднабора Ejafa/ye-pop с подписями, сгенерированными THUDM/cogvlm2-llama3-chat-19B. Модель принимает изображение и формирует текстовое описание; в метаданных также заявлены задачи генерации текста и описания изображений. Основа Florence-2-large поддерживает описание изображений, обнаружение и локализацию объектов, сегментацию и OCR по текстовым запросам, однако README описывает дообучение именно для captioning. Карточка не сообщает размер контекста или точный размер модели. Модель распространяется по лицензии MIT.

FastVLM-0.5B-Captions — визуально-языковая модель, дообученная Риддхиманом Раной на основе FastVLM-0.5B Stage 3 от Apple. Она предназначена для создания подробных структурированных описаний изображений, в том числе на мобильных и встроенных устройствах. Архитектура — LlavaQwen2ForCausalLM с визуальным модулем MobileCLIP-S0; модель содержит около 494 млн параметров, поддерживает контекст до 32 768 токенов и работает с изображениями и текстом. Основной язык — английский. Модель дообучена с LoRA на 2 000 изображениях из COCO 2017 Validation; веса также представлены в 4-битном варианте. Автор сообщает о тестировании на iPhone 12 и более новых моделях, с потреблением памяти около 1 ГБ. Лицензия — apple-amlr. Модель рассчитана на описания изображений, а не на общие мультимодальные рассуждения или текстовые задачи; описания могут быть многословными и повторяющимися, а точность — снижаться на абстрактных или незнакомых сценах.

InstructPix2Pix — модель редактирования изображений по текстовым инструкциям, разработанная Тимом Бруксом и соавторами. Она принимает исходное изображение и текстовое описание желаемого изменения и создаёт отредактированное изображение. Модель предназначена для сценариев интерактивного редактирования: например, изменить стиль или цвет объекта, добавить либо убрать элементы, сохранив связь результата с исходным изображением и инструкцией. Репозиторий содержит веса в формате Diffusers, PyTorch и Safetensors; для запуска используется StableDiffusionInstructPix2PixPipeline из библиотеки Diffusers. Модель распространяется по лицензии MIT. В предоставленной карточке не приведены сведения о её ограничениях качества или поддерживаемых языках; надёжность результата может зависеть от формулировки инструкции и содержания исходного изображения.