IV.1Ритейл, электронная коммерция и fashion-tech
В разделе собраны самостоятельные задачи, где AI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
5 934 моделиResNet34D RA2 In1k — свёрточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k. Она также подходит как основа для извлечения признаковых карт и эмбеддингов изображений. Модель содержит 21,8 млн параметров и выполняет около 3,9 GMACs. Архитектура использует активации ReLU, трёхслойный блок начальных свёрток 3×3 с пулингом и shortcut-соединения с усредняющим пулингом 2×2 и свёрткой 1×1. Размер изображения при обучении составлял 224×224, при тестировании — 288×288. Модель работает с изображениями и выдаёт метки классов; обучение проводилось для ImageNet-1k.
ResNet-50.a2_in1k — модель классификации изображений из библиотеки timm, обученная на ImageNet-1k по рецепту ResNet Strikes Back A2. Она использует архитектуру ResNet с активациями ReLU, начальной свёрткой 7×7 с pooling и shortcut-свёртками 1×1. Модель содержит 25,6 млн параметров и предназначена для классификации изображений и извлечения признаковых карт и эмбеддингов. Модель подходит для распознавания объектов и категорий на изображениях, а также как визуальная основа для других систем компьютерного зрения. В README указаны размер обучения 224×224 и тестирования 288×288 пикселей. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
SAM 2 Hiera Base Plus — модель сегментации изображений и видео, разработанная FAIR. Это базовая версия семейства SAM 2 для интерактивного выделения объектов по точкам, ограничивающим рамкам или маскам, а также для автоматической генерации масок на изображениях. В видео модель распространяет сегментацию по кадрам и отслеживает выбранные объекты, в том числе несколько объектов одновременно. Модель относится к семейству SAM 2 с архитектурой Hiera; карточка Hugging Face предоставляет веса в формате safetensors и интеграцию через Transformers. Она принимает визуальные данные и подсказки для сегментации, а выдаёт маски объектов. Лицензия — Apache 2.0. README не приводит конкретных ограничений качества или количественных характеристик этой версии.
Карточка модели CollectionStudio/sam2-hiera-tiny на Hugging Face совпадает с карточкой facebook/sam2-hiera-tiny, поэтому описание составлено по ней. SAM 2 Hiera Tiny — компактная версия модели Segment Anything in Images and Videos, разработанная FAIR. Это визуальная модель сегментации, доступная в формате Safetensors и поддерживаемая библиотекой Transformers; репозиторий содержит реализацию для работы с изображениями и видео. Модель выделяет объекты по точкам, ограничивающим рамкам или ранее полученным маскам, а также может автоматически создавать маски для объектов на изображении. Для видео SAM 2 сегментирует и отслеживает выбранные объекты между кадрами, включая потоковую обработку и одновременную работу с несколькими объектами. Модель предназначена для визуальной сегментации и трекинга, а не для генерации текстовых описаний. Репозиторий распространяется по лицензии Apache-2.0.
SAM-HQ ViT-Base — модель сегментации изображений от сообщества syscv-community, реализующая улучшенную версию Segment Anything Model. Она принимает изображение и подсказки в виде точек, рамок или маски и предсказывает маски объектов; также поддерживается автоматическая генерация масок по сетке точек без отдельной подсказки пользователя. Модель сохраняет promptable-подход и предобученные веса SAM, добавляя обучаемый токен для масок высокого качества и слияние глобальных и локальных признаков ViT. Эти изменения помогают точнее выделять тонкие структуры и сложные границы при небольшом увеличении числа параметров и вычислений. SAM-HQ обучена на наборе HQSeg-44K с детализированными масками и сохраняет возможности переноса без дополнительного обучения. Модель подходит для автоматической разметки изображений, редактирования изображений и видео и других задач, где нужны точные маски объектов. Текстовые подсказки официальной реализацией не поддерживаются. Модель распространяется по лицензии Apache-2.0.
Карточка модели robhowet/SenseNova-U1.5-8B-MoT на Hugging Face совпадает с карточкой developerjeremylive/SenseNova-U1.5-8B-MoT-etheroi, поэтому описание составлено по ней. SenseNova-U1.5-8B-MoT — мультимодальная модель семейства NEO-unify, опубликованная разработчиками SenseNova. Это чекпойнт с 8 млрд параметров для генерации изображений и редактирования изображений по текстовым инструкциям, включая работу с несколькими референсами и управление объектами или областями изображения. Модель поддерживает диалоговый интерфейс; веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель предназначена для создания визуальных материалов, включая плакаты, инфографику и изображения с текстом, а также для локального редактирования, вставки и замены объектов с сохранением остального содержимого. В README заявлены улучшенная генерация в разрешении до 4K, следование сложным инструкциям и управление композицией через рамки и визуальные маркеры. Указаны английский и китайский языки; карточка не приводит длину контекста. Ограничения включают ошибки в мелком или плотном тексте, несовершенное соблюдение точных требований к количеству объектов и компоновке, нестабильные мелкие детали людей и возможное смещение содержимого при сложном многошаговом редактировании. Изображения также могут получаться перенасыщенными или перегруженными деталями.
SenseNova-U1.5-8B-MoT — мультимодальная модель SenseNova на архитектуре NEO-unify, представленная как релиз с обучением на основе RL. Она предназначена для генерации изображений по тексту и редактирования изображений по инструкциям, включая локальные изменения, вставку и замену объектов, работу с несколькими референсами и управление областями через рамки и визуальные маркеры. Модель также поддерживает чат и интерфейс вызова инструментов; веса опубликованы в формате safetensors, лицензия — Apache 2.0. Среди заявленных улучшений — композиция и цветовая гармония, детализация, генерация изображений с разрешением до 4K, отображение английского и китайского текста, следование сложным ограничениям и сохранение неизменённых частей изображения. Карточка ориентирует модель на визуальное создание и редактирование; метаданные также относят её к задачам генерации текста и any-to-any. README не приводит число параметров или длину контекста. Ограничения включают ошибки в мелком и плотном тексте, неточности в строго заданных компоновках и количестве объектов, нестабильность мелких деталей людей и объектов, а также дрейф при сложном многошаговом редактировании. Некоторые запросы могут приводить к чрезмерной детализации или перенасыщенным цветам.
SenseNova-U1.5-8B-MoT-Preview — предварительная версия унифицированной мультимодальной модели SenseNova на архитектуре NEO-unify с классом NEOChatModel. Модель предназначена для генерации изображений по текстовым запросам и редактирования изображений по инструкциям, включая работу с несколькими референсами, масками, ограничивающими рамками и визуальными маркерами. Заявлены создание изображений в разрешении до 4K, улучшенная передача текстур, материалов и освещения, а также генерация сложных композиций и текста на китайском и английском языках. Модель поддерживает текстовые диалоговые сценарии и интерфейс вызова инструментов, а веса доступны в формате safetensors. Карточка описывает её как preview-релиз: короткие и недостаточно точные запросы могут приводить к лишнему тексту на изображении, ошибки возникают в мелком и плотном тексте и сложных макетах, а детализированные изображения людей и многоэтапное редактирование могут быть нестабильными. Лицензия — Apache-2.0.
seresnextaa101d_32x8d.ah_in1k — свёрточная модель классификации изображений из библиотеки timm. Она использует архитектуру SE-ResNeXt-D с группированными свёртками, остаточными связями, механизмом Squeeze-and-Excitation для внимания к каналам и Rectangle-2 Anti-Aliasing. Модель обучена на ImageNet-1k по рецепту на основе ResNet Strikes Back A1. Модель предназначена для классификации изображений и может использоваться как основа для извлечения карт признаков и эмбеддингов изображений. Она содержит 93,6 млн параметров; размер изображений при обучении составляет 224×224, при тестировании — 288×288. Репозиторий предоставляет веса PyTorch и safetensors. Лицензия — Apache-2.0.
timm/swin_base_patch4_window12_384.ms_in1k — модель классификации изображений на архитектуре Swin Transformer, опубликованная авторами статьи и распространяемая через библиотеку timm. Она предварительно обучена на ImageNet-1k и может использоваться для классификации изображений, извлечения карт признаков и получения эмбеддингов. Модель содержит 87,9 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Swin Transformer использует иерархическую структуру и сдвинутые окна внимания для обработки визуальных данных. В репозитории доступны веса PyTorch и Safetensors. Лицензия MIT разрешает свободное использование и распространение при соблюдении её условий. Карточка не сообщает о специальных ограничениях применения.
Это модель классификации изображений на базе Swin Transformer V2, опубликованная авторами статьи и предварительно обученная на ImageNet-1k. Она предназначена для присвоения изображению метки класса и может использоваться как визуальная backbone-модель для извлечения карт признаков и эмбеддингов. Модель содержит 87,9 млн параметров, обрабатывает изображения размером 256 × 256 пикселей и требует около 22 GMACs на проход. Репозиторий предоставляет веса в форматах PyTorch и Safetensors; для работы указана библиотека timm. Лицензия — MIT.
timm/tf_efficientnet_b4.in1k — сверточная модель EfficientNet-B4 для классификации изображений, первоначально обученная авторами статьи на ImageNet-1k в TensorFlow и перенесённая в PyTorch Россом Уайтманом. В репозитории доступны веса PyTorch и SafeTensors; модель содержит около 19,3 млн параметров и рассчитана на изображения размером 380 × 380 пикселей. Модель определяет классы объектов на изображении и может использоваться как сверточная основа для извлечения карт признаков и эмбеддингов изображений. Она подходит для классификации изображений общего назначения в сценариях компьютерного зрения. Обучение проведено на ImageNet-1k. Лицензия — Apache-2.0. Модель принимает изображения и выдаёт оценки классов; в README также описано получение карт признаков и эмбеддингов. Данные не устанавливают языковую поддержку или специализированные предметные области.
tf_efficientnet_b5.ra_in1k — модель классификации изображений из семейства EfficientNet, обученная авторами статьи на ImageNet-1k с аугментацией RandAugment и портированная в PyTorch Россом Уайтменом. Репозиторий распространяет модель через библиотеку timm; доступны веса PyTorch и Safetensors, лицензия Apache-2.0. Модель предназначена для классификации изображений, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Она содержит около 30,4 млн параметров и рассчитана на изображения размером 456 × 456 пикселей. Карточка не приводит отдельные сведения о точности или перечне классов.
tf_efficientnetv2_l.in21k_ft_in1k — сверточная модель EfficientNetV2-L для классификации изображений. Её обучили авторы статьи на ImageNet-21k и дообучили на ImageNet-1k; Ross Wightman перенёс веса из TensorFlow в PyTorch. Модель содержит около 118,5 млн параметров и доступна через библиотеку timm. Модель предназначена для классификации изображений и может использоваться как основа для извлечения признаков, карт признаков и эмбеддингов изображений. Размер изображения при обучении — 384×384 пикселя, при тестировании — 480×480. Репозиторий содержит веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
UForm-Gen — компактная генеративная модель «зрение—язык» от Unum Cloud для понимания изображений и создания текстовых ответов о них. Она сочетает визуальный энкодер uform-vl-english с языковой моделью Sheared-LLaMA-1.3B, настроенной на наборы инструкций; размер модели в карточке указан как 1,5 млрд параметров. Модель предназначена прежде всего для создания подписей к изображениям, краткого описания их содержимого и ответов на вопросы по изображению. Поведение можно направлять текстовыми запросами. Обучение включало MSCOCO, SBU Captions, Visual Genome, VQAv2, GQA и внутренние наборы данных. В README приведены результаты оценки на VQAv2 и показатели скорости генерации на RTX 3090; они не гарантируют аналогичное качество на других данных и оборудовании. Модель принимает изображения и текстовые инструкции, выдаёт текст; заявленный язык — английский. Репозиторий использует формат safetensors и распространяется по лицензии Apache-2.0.
VGG16-BN — сверточная модель классификации изображений из библиотеки timm, основанная на оригинальных весах torchvision и обученная на ImageNet-1k. Она содержит около 138,4 млн параметров и рассчитана на изображения размером 224 × 224 пикселя; также её можно использовать как основу для извлечения признаковых карт и эмбеддингов изображений. Модель подходит для определения объектов и сцен по изображению, а также для получения визуальных признаков в системах компьютерного зрения. Репозиторий распространяет веса в форматах PyTorch и safetensors; библиотека timm. Лицензия — BSD-3-Clause.
VGG19.tv_in1k — свёрточная модель классификации изображений из библиотеки timm, использующая оригинальные веса torchvision, обученные на ImageNet-1k. Архитектура VGG19 содержит около 143,7 млн параметров; для стандартного входа используется изображение размером 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и получения векторных представлений изображений. Вычислительная сложность составляет 19,6 GMACs. Модель принимает изображения и выдаёт оценки классов; при извлечении признаков результатом могут быть карты признаков или эмбеддинги. Поддержка текстового ввода не заявлена. Лицензия — BSD 3-Clause.
timm/vit_base_patch16_224.mae — модель извлечения признаков изображений на основе Vision Transformer (ViT), предоставленная в библиотеке timm. Она предварительно обучена на ImageNet-1k методом masked autoencoder (MAE) и подходит как визуальная основа для классификации изображений и получения их эмбеддингов. Модель содержит около 85,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель принимает изображения и выдаёт признаки для последующих задач компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
Это модель компьютерного зрения на архитектуре Vision Transformer (ViT), распространяемая проектом timm. Авторы статьи предварительно обучили её на ImageNet-21k, затем Росс Уайтман дообучил её на ImageNet-1k с дополнительной аугментацией и регуляризацией. Модель содержит 86,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по классам ImageNet-1k; её также можно использовать как основу для извлечения признаков и эмбеддингов изображений. Репозиторий предоставляет веса PyTorch и Safetensors и использует библиотеку timm. Лицензия — Apache-2.0. Качество и применимость на изображениях вне обучающих наборов зависят от конкретной задачи и данных.
vit_betwixt_patch16_reg4_gap_256.sbb_in1k — модель классификации изображений на базе Vision Transformer (ViT), подготовленная командой timm. Она обучена на ImageNet-1k и предназначена для распознавания объектов на изображениях, а также может использоваться как визуальный backbone для извлечения признаковых карт и эмбеддингов. Архитектура использует патчи 16×16, четыре регистра и глобальное усреднение; модель рассчитана на изображения размером 256×256 и содержит около 60,4 млн параметров. Модель подходит для классификации изображений и получения визуальных признаков в прикладных системах компьютерного зрения. В сравнении, приведённом в карточке, точность top-1 на ImageNet-1k составляет 85,418%, а top-5 — 97,480%. Репозиторий предоставляет веса в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.
WinKawaks/vit-small-patch16-224 — конверсия модели ViT-Small из репозитория timm, опубликованная WinKawaks. Это модель классификации изображений с архитектурой Vision Transformer и примерно 28,3 млн параметров; она предназначена для присвоения изображению метки класса и может использоваться для классификации объектов и сцен на изображениях. По карточке, модель применяется так же, как ViT-Base. В метаданных указан ImageNet; доступны веса PyTorch, ONNX и safetensors. Лицензия — Apache-2.0. Модель принимает изображения и выдаёт предсказания классов. Карточка не приводит результатов оценки качества или подробностей о разрешении и наборах меток. Для работы с вариантом safetensors требуется PyTorch 2.0.
Это модель классификации изображений на основе Vision Transformer (ViT), опубликованная Ross Wightman в библиотеке timm. Вариант архитектуры использует патчи 16×16, четыре регистра и глобальное усреднение признаков; модель также подходит как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель предварительно обучена на ImageNet-12k и дообучена на ImageNet-1k. Она рассчитана на изображения размером 256×256 пикселей и содержит 134,1 млн параметров. В README приведены показатели сравнения с другими вариантами семейства, но не отдельные результаты этой модели. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0.
tonyassi/vogue-fashion-collection-15 — модель классификации изображений модных коллекций, созданная автором репозитория tonyassi на основе дообучения google/vit-base-patch16-224-in21k. Она определяет, к какой из 15 модных домов и представленных коллекций относится изображение. Модель построена на архитектуре Vision Transformer (ViT), содержит 113,2 млн параметров и доступна в формате safetensors. Модель обучена на датасете tonyassi/vogue-runway-top15-512px: 87 547 изображений, охватывающих 1679 коллекций. В README указана точность 0,9454 на оценочной выборке. Подходит для каталогизации фотографий с показов и анализа изображений моды. Лицензия — Apache-2.0.
Z-Image-Turbo — модель генерации изображений по тексту, опубликованная проектом Z-Image. Она использует архитектуру Scalable Single-Stream Diffusion Transformer (S3-DiT) с объединённым потоком текстовых, семантических и VAE-токенов изображения. Версия Turbo является дистиллированной версией Z-Image и создаёт изображения за 8 вызовов модели; в README заявлены субсекундная генерация на H800 и возможность работы на потребительских устройствах с 16 ГБ видеопамяти. Модель предназначена для фотореалистичной генерации и хорошо следует инструкциям. Среди заявленных сильных сторон — создание изображений с английским и китайским текстом и высокая скорость генерации. Репозиторий использует Diffusers и формат Safetensors. Лицензия — Apache-2.0.
BlackStone-Yu/Z-Image-Turbo-GGUF — квантованная версия модели Z-Image-Turbo, разработанной командой Tongyi-MAI. Это генеративная модель преобразования текста в изображение, предназначенная для создания изображений по текстовым описаниям, включая фотореалистичные сцены, а также изображения с текстом на английском и китайском языках. Модель основана на архитектуре Single-Stream Diffusion Transformer и содержит 6 миллиардов параметров. Z-Image-Turbo — дистиллированный вариант Z-Image, рассчитанный на генерацию всего за 8 NFE (Number of Function Evaluations). Заявлены субсекундная задержка на GPU H800 и возможность работы на потребительских устройствах с 16 ГБ видеопамяти. Модель поддерживает английский и китайский языки и отличается высокой эффективностью, качественной фотореалистичной генерацией и хорошим следованием инструкциям. К ограничениям относятся отсутствие в README подробностей о точных требованиях к аппаратному обеспечению для GGUF-версии, поддерживаемых разрешениях, качестве на других языках и особенностях запуска. Лицензия модели — Apache-2.0.
Это модель shunk031, реализующая LAION-Aesthetics Predictor V2 для оценки эстетической привлекательности изображений. Она использует визуальную часть CLIP ViT-L/14 и линейную регрессионную голову, обученную на примерах SAC, LAION-Logos и AVA; в репозитории указано около 402,7 млн параметров. Модель предназначена для присвоения изображениям эстетической оценки и их ранжирования, например при фильтрации наборов данных или отборе изображений. На вход подаётся изображение, на выходе модель возвращает числовую оценку и визуальные признаки. Для загрузки через Transformers в карточке указан pipeline feature-extraction и требуется trust_remote_code. Модель не генерирует изображения и не предназначена для понимания текста на них. Доступная карточка не сообщает лицензию, поэтому условия использования по имеющимся источникам определить нельзя.
Карточка модели nuresens/ALL_PAD_merge на Hugging Face совпадает с карточкой nuresens/ALL_PAD_MERGE_v2, поэтому описание составлено по ней. nuresens/ALL_PAD_MERGE_v2 — дообученная мультимодальная модель семейства Mistral3 на базе aitf-komdigi/KomdigiITS-3B-PAD-CPT. Разработчик — nuresens; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель принимает изображения и текст и предназначена для диалоговых сценариев с визуальным содержимым, включая ответы на вопросы по изображениям. В карточке также заявлен интерфейс для вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Количество параметров и длина контекста в предоставленных источниках не указаны.
BEiT Base — базовая модель кодировщика изображений семейства Vision Transformer, разработанная Microsoft и представленная в статье Hangbo Bao, Li Dong и Furu Wei. Модель содержит около 119,5 млн параметров и предварительно обучена без учителя на ImageNet-21k (ImageNet-22k): она предсказывает визуальные токены на замаскированных патчах изображения. Входное изображение разбивается на патчи 16×16; предобучение выполнялось при разрешении 224×224 пикселя. Модель предназначена для классификации изображений и извлечения признаков, которые можно использовать в последующих задачах компьютерного зрения, например дообучив классификатор на размеченных данных. Карточка указывает поддержку классификации изображений; архитектура в метаданных обозначена как BeitForMaskedImageModeling. Модель распространяется по лицензии Apache-2.0. Для тонкой настройки более высокое разрешение может давать лучшие результаты; специализированные задачи могут требовать дополнительного обучения.
Acly публикует конвертированные в формат GGUF F16 веса BiRefNet для лёгкого локального инференса на пользовательском оборудовании через vision.cpp. Модель выполняет дихотомическую сегментацию изображений: выделяет основной объект и строит маску, которую можно использовать для удаления фона или создания композитного изображения. Для запуска приведён пример с vision.cpp: на вход подаётся изображение, на выходе создаётся маска и, при необходимости, композит. Репозиторий основан на ZhengPeng7/BiRefNet; лицензия — MIT. Описание не сообщает отдельных ограничений точности или перечня поддерживаемых типов изображений.
CaiT XXS24 224 — модель классификации изображений на основе архитектуры CaiT (Class-Attention in Image Transformers), опубликованная авторами статьи и доступная через библиотеку timm. Она предварительно обучена на ImageNet-1k с дистилляцией. Модель содержит 12 млн параметров, рассчитана на изображения размером 224 × 224 пикселя и может использоваться как классификатор или основа для извлечения признаков и эмбеддингов изображений. Модель подходит для классификации объектов на изображениях и получения визуальных представлений для последующей обработки. Репозиторий содержит веса PyTorch и safetensors. Лицензия — Apache-2.0.