IV.1Ритейл, электронная коммерция и fashion-tech
В разделе собраны самостоятельные задачи, где AI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
5 934 моделиЭто крупная модель EoMT-DINOv3 для паноптической сегментации изображений, представленная пользователем tue-mps и обученная на COCO. Она сочетает архитектуру Encoder-only Mask Transformer с визуальным трансформером DINOv3 ViT-L/16 и предназначена для одновременного выделения объектов и сегментации фона на изображении с разрешением 1280×1280. Модель использует общий ViT-бэкбон без специализированного декодера сегментации; для семантической, экземплярной и паноптической сегментации применяются разные способы постобработки. Варианты DINOv3 используют rotary position embeddings и предобучение Meta AI. Число параметров — около 402,7 млн. Модель принимает изображения и выдаёт сегментационные маски и категории объектов. Подходит для анализа сцен и разметки изображений в задачах компьютерного зрения. Опубликована под лицензией MIT.
Dhahlan2000/freshness_detector_updated — классификатор изображений, созданный с помощью HuggingPics. Модель на архитектуре Vision Transformer (ViT) содержит 113,2 млн параметров и предназначена для классификации изображений по признакам свежести; точные классы в карточке не перечислены. Модель подойдёт для экспериментов с автоматической оценкой свежести продуктов по изображениям. В репозитории указаны веса в формате Safetensors. Лицензия и подробности о языках, контексте и условиях применения в предоставленных данных не описаны.
GroupViT — модель компьютерного зрения и языка, разработанная Jiarui Xu и соавторами. Она обучена на парах изображений и текстовых описаний и предназначена для сегментации изображений по категориям, заданным словами, без дополнительного дообучения на пиксельной разметке. Модель использует иерархический Vision Transformer, который группирует области изображения в сегменты, и текстовый энкодер, обученные совместно с контрастивной функцией потерь. Основной сценарий — zero-shot семантическая сегментация по произвольному словарю категорий; в карточке приведены результаты на PASCAL VOC 2012 и PASCAL Context. Репозиторий содержит варианты весов PyTorch и TensorFlow. Модель обучали на открытых данных изображений с подписями, включая YFCC100M и собранные из интернета данные. Состав данных может быть смещён в сторону пользователей и обществ, более представленных в интернете. README не сообщает лицензию, поэтому условия использования по имеющимся сведениям определить нельзя.
facebook/maskformer-resnet101-coco-stuff — модель компьютерного зрения, разработанная Facebook AI Research (Meta) на основе архитектуры MaskFormer с backbone ResNet-101. Она предназначена для семантической сегментации изображений, то есть для классификации областей изображения по пикселям на основе классов COCO-Stuff. Модель доступна для использования через библиотеку Transformers и представлена в форматах PyTorch и Safetensors. Размер модели составляет около 60,4 млн параметров.
MSI-Net — модель компьютерного зрения для прогнозирования визуальной заметности: она оценивает, на какие области естественного изображения, вероятно, будут направлены взгляды людей. Модель представлена в репозитории alexanderkroner и описана как contextual encoder-decoder network, обученная на данных о движении взгляда. Она предназначена для построения карт визуальной заметности, анализа изображений и сценариев, где требуется оценить вероятные точки фиксации человека. В основе модели лежит сверточная нейронная сеть с модулем ASPP, использующим несколько сверточных слоев с разными коэффициентами дилатации для параллельного извлечения признаков разных масштабов. Полученные представления объединяются с глобальной информацией о сцене. Модель содержит около 25 миллионов параметров и работает с изображениями; в примере предусмотрено приведение входа к размеру 320×320, 240×320 или 320×240 с сохранением пропорций и дополнением полями. Веса энкодера инициализируются из VGG16, предварительно обученной на ImageNet, а базовая версия обучена на SALICON с использованием записей движения мыши как приближения к данным о взгляде; также предусмотрена возможность дообучения на данных eye tracking. Сильной стороной является сочетание многоштабных и глобальных признаков при относительно умеренном размере модели, однако точность зависит от характеристик изображений и типа данных, на которых проводилось обучение. Лицензия модели — MIT.
LucasLeee/mt5-small-finetuned-amazon-reviews-en-es — дообученная LucasLeee модель Google mT5-small для суммаризации отзывов о книгах на английском и испанском языках. Она основана на архитектуре MT5ForConditionalGeneration и содержит около 157,4 млн параметров; веса опубликованы в формате safetensors. Модель предназначена для получения краткого пересказа отзыва о книге, в том числе в сценариях обработки отзывов Amazon. Модель обучалась на небольшой выборке отзывов, поэтому качество и обобщение на другие темы или типы текстов могут быть ограничены. Лицензия в предоставленных данных не указана.
OneFormer — модель компьютерного зрения семейства OneFormer, разработанная авторами Jain et al. Это версия tiny с backbone Swin, обученная на наборе данных ADE20k. Архитектура использует токен задачи, чтобы выбирать режим сегментации во время вывода. Модель предназначена для семантической, экземплярной и паноптической сегментации изображений одним чекпойнтом. Она принимает изображение и выдаёт сегментационную разметку; в метаданных основная задача указана как image-segmentation. Модель распространяется под лицензией MIT.
facebook/pixio-vitb16 — модель компьютерного зрения из семейства Pixio, разработанного FAIR в Meta и HKU. Это ViT-B с патчами размером 16 пикселей, дообученный на основе facebook/pixio-vit5b16; семейство Pixio обучалось методом masked autoencoding на 2 млрд веб-изображений с минимальной ручной фильтрацией данных. Модель принимает изображение и возвращает восемь классовых токенов и токены патчей, которые можно использовать как признаки изображения для последующих задач компьютерного зрения. Для изображения 256×256 получается 264 токена; поддерживаются и большие размеры, кратные 16. Модель предназначена для извлечения плотных визуальных признаков и исследовательских и прикладных сценариев компьютерного зрения. Лицензия FAIR Noncommercial Research License ограничивает использование некоммерческими исследовательскими целями.
ShapeR — модель для метрической реконструкции 3D-форм объектов по последовательности изображений. Она использует потоковую трансформерную архитектуру, которая работает с латентными представлениями VecSet и объединяет изображения, разреженные метрические точки SLAM, позы камер и текстовые описания. Полученный код формы декодируется в сетку объекта; применение модели к каждому обнаруженному объекту позволяет собрать реконструкцию сцены. Для запуска требуется заранее подготовить данные через конвейер Aria MPS и детектор экземпляров объектов. Доступны режимы с разным компромиссом между скоростью и качеством; результат сохраняется как 3D-сетка GLB и визуализация сравнения. Модель опубликована Meta под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.
Это вариант Sapiens2-1B от Meta, преобразованный в нативное именование timm (EVA). Весовые значения перенесены из facebook/sapiens2-pretrain-1b без дообучения. Модель представляет собой Vision Transformer с RoPE, GQA, SwiGLU, RMSNorm и QK-нормализацией; в ней 1,462 млрд параметров, веса доступны в формате safetensors. Модель предварительно обучена на одном миллиарде изображений людей и предназначена для извлечения плотных признаков по патчам изображения. Эти признаки можно использовать для дообучения голов задач оценки позы, сегментации частей тела, предсказания нормалей поверхности и pointmaps, а также для исследований компьютерного зрения с фокусом на человеке. Лицензия — Sapiens2 License; README указывает, что она применяется к этому репозиторию. Практическое использование требует подходящей downstream-головы для получения разметки или геометрических предсказаний: сам репозиторий содержит предобученную backbone-модель для извлечения признаков.
Это дообученная версия OpenAI CLIP ViT-L/14, созданная tanganke на датасете DTD для извлечения признаков изображений. Архитектура — CLIPVisionModel на базе ViT-Large с размером патча 14; модель содержит около 402,7 млн параметров и распространяется в формате safetensors. Модель предназначена для получения визуальных признаков, в частности для задач классификации изображений, связанных с DTD. В README приведены оценки 0,5548 для исходной модели и 0,8548 после дообучения, но метрика и протокол оценки не описаны. Лицензия и условия использования в предоставленных данных не указаны.
DETRPose-S-CROWDPOSE — модель для обнаружения ключевых точек позы нескольких людей на изображении в реальном времени. Она основана на DETRPose и использует гибридный энкодер RT-DETR и облегчённый декодер D-FINE. Для повышения точности оценок уверенности применяется слой Pose-LQE, а обучение включает денойзинг ключевых точек и функцию потерь Keypoint Similarity Varifocal. В карточке указаны результаты на наборе CROWDPOSE: 11,5 млн параметров, 31,3 GFLOPs и задержка 4,80 мс; значение AP — 67,4. Модель предназначена для низколатентного многопользовательского распознавания поз и может применяться для анализа видеопотока с веб-камеры. Для инференса README отсылает к inference-ready ветке репозитория DETRPose. Лицензия — Apache-2.0.
nisuga/food_type_classification_model — модель классификации текста на базе DistilBERT, дообученная для отнесения пищевого продукта к одной из двух категорий: растительного или животного происхождения. Она принимает название продукта или список ингредиентов и выдаёт метку PLANT_BASED либо ANIMAL_BASED. Модель обучена на данных USDA FoodData Central; в карточке указана точность 0,9940 на оценочной выборке. Модель предназначена для автоматической маркировки продуктов по их названию или составу. Контекстное окно составляет 512 токенов. Опубликована в формате safetensors под лицензией Apache-2.0. Базовая модель — distilbert/distilbert-base-uncased.
ifoodie-menu-v3.1 — модель классификации изображений, опубликованная пользователем или организацией sainteye. Она предназначена для анализа изображений меню и распределения их по четырём категориям: «качественное», «плохое», «реклама» и «обычное». Модель может использоваться для автоматической сортировки и предварительной оценки изображений меню в системах каталогизации или модерации. В карточке указана метрика Accuracy со значением 0,9375, а также использование PyTorch. Архитектура, размер модели, поддерживаемые языки, максимальный контекст и дополнительные модальности не раскрыты. Лицензия и ограничения на использование также не указаны, поэтому условия распространения и применения необходимо уточнять у автора модели.
JEV-27B-VL — мультимодальная модель на основе плотной архитектуры Qwen3.8-27B, опубликованная AutoTrust и дообученная на корпусе решений JEV. Она сочетает обученную на тексте систему принятия решений с базовой моделью Qwen для рассуждений; принимает текст и изображения, а ответы формирует в текстовом виде. В README описаны применение для ранжирования рекомендаций и поисковой выдачи, оценки ответов и траекторий агентов, а также решения вопросов о пространстве и действиях по изображениям. Для подачи изображений в System 1 обучение не включало визуальные данные, поэтому такой режим работает без специального обучения и требует осторожной оценки калибровки. Модель ориентирована на диалоговое использование и интерфейс решений с вероятностями; в README приведены результаты тестов ERQA и рекомендации коротких видео. Для запуска автор предлагает vLLM и одну видеокарту с 80 ГБ памяти или больше. Репозиторий содержит веса safetensors, библиотека — Transformers. Лицензия Apache-2.0.
PartCrafter — модель генерации трёхмерных объектов по одному RGB-изображению. Репозиторий wgsxm содержит предобученные веса для генерации на уровне целого объекта; модель разрабатывает структурированные 3D-сетки, совместно формируя несколько частей за один проход. Она основана на композиционных латентных диффузионных трансформерах и использует rectified flow, работает через PartCrafterPipeline библиотеки Diffusers и распространяется в формате safetensors. Модель предназначена для преобразования изображения объекта в 3D-представление, например для создания исходных моделей из референсных изображений. Лицензия репозитория — MIT. В README не приведены сведения о размере модели, контексте и поддержке нескольких ракурсов; описание указывает на вход одного RGB-изображения. Качество результата может зависеть от содержимого и ракурса исходного изображения, а сама карточка отсылает за подробностями использования к официальному репозиторию.
Pattern Diffusion — диффузионная модель генерации изображений по текстовому описанию, разработанная Alex Reid для создания бесшовных повторяющихся узоров. Модель обучена с нуля примерно на 6,8 млн тайловых паттернов и основана на архитектуре Stable Diffusion 2 Base. Обучение проходило в разрешениях от 256×256 до 1024×1024; для получения изображений без видимых швов автор рекомендует сочетать циклический сдвиг шума с круговой обработкой свёрточных слоёв на поздних этапах генерации. Модель предназначена для дизайна поверхностей: текстильных принтов, обоев, упаковки и других повторяемых декоративных материалов. Особенно хорошо справляется с цветочными и абстрактными узорами и учитывает цвета переднего и заднего плана в запросе. Распространяется по лицензии Apache 2.0, допускающей коммерческое использование без обязательного указания авторства. Модель не создаёт связный текст, слабо справляется с анатомически корректными живыми существами и может давать геометрически непоследовательные результаты даже для простых фигур. Для бесшовной генерации требуется соответствующая настройка инференса, описанная автором.
Sapiens2-0.4B-Pose — модель Meta для оценки позы человека на изображениях. Это дообученная на задаче оценки позы модель на базе Vision Transformer Sapiens2-0.4B; в репозитории около 402,7 млн параметров, веса представлены в формате safetensors. Модель выполняет top-down-оценку позы по ограничивающим рамкам человека, которые предварительно должен предоставить детектор объектов, например RTMDet. Она предсказывает 308 ключевых точек в формате Sociopticon, включая 274 точки лица, а также точки кистей и стоп. Подходит для анализа человекоцентричных изображений и исследований компьютерного зрения. Для запуска предусмотрен код проекта Sapiens2. В README указана лицензия Sapiens2 License; метаданные обозначают лицензию как other, поэтому конкретные условия следует сверять с текстом лицензии репозитория. Модель требует детектора людей и не предназначена для самостоятельного обнаружения людей на изображении.
mlx-community публикует конверсию модели facebook/sapiens2-seg-1b для запуска в MLX. Это плотная модель семейства Sapiens2 с архитектурой Sapiens2ForSemanticSegmentation и примерно 1,5 млрд параметров; она выдаёт попиксельные логиты для 29 классов частей тела и фона на изображении. Веса сохранены в формате safetensors и представлены в bfloat16; проекции q/k/v объединены в тензор wqkv для совместимости с реализацией Sapiens2 в mlx-vlm. Модель подходит для сегментации частей человеческого тела на изображениях. Выходные массивы имеют разрешение входного изображения. Карточка отсылает к исходной модели для описания назначения и лицензии; метаданные указывают лицензию other, поэтому конкретные условия следует сверять с карточкой facebook/sapiens2-seg-1b.
matei-dorian/segformer-b0-finetuned-human-parsing — модель семантической сегментации изображений на основе SegFormer B0, дообученная от nvidia/mit-b0 для разметки частей человека. Она предназначена для выделения на изображении таких областей, как волосы, лицо, верхняя одежда, брюки, платье, обувь, руки и ноги. В карточке приведены метрики оценки: mean IoU 0,0726 и общая точность 0,3575; результаты по классам сильно различаются, поэтому качество разметки многих частей низкое. Модель принимает изображения и выдаёт пиксельную сегментацию классов. Лицензия указана как other, подробные условия в карточке не описаны.
MBZUAI/swiftformer-xs — модель классификации изображений из семейства SwiftFormer, разработанного авторами статьи SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications. Вариант SwiftFormer-XS использует эффективный механизм additive attention, который заменяет квадратичные матричные операции self-attention линейными поэлементными умножениями. Модель реализована для Transformers и распространяется в форматах PyTorch и safetensors. Модель предназначена для отнесения изображений к классам ImageNet-1K и рассчитана на сценарии мобильного компьютерного зрения, где важны скорость и эффективность инференса. В карточке приводится результат 78,5% top-1 для малого варианта SwiftFormer и задержка 0,8 мс на iPhone 14; эти показатели относятся к описанию семейства, а не обязательно к конкретному XS-чекпойнту. Лицензия в предоставленных данных не указана.
Tabby-Prompt — пакет из 25 обученных prompt-тензоров для замороженной модели Tabby-Pretrain. Согласно карточке модели, промпт содержит 160 токенов, использует сегментированное контекстно-зависимое кондиционирование и выбран на 14-й эпохе при значении val_loss 2,0484. Репозиторий предназначен для совместного использования с базовой моделью Tabby-Pretrain при прогнозировании временных рядов. Модель распространяется в формате PyTorch по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Метаданные указывают задачу прогнозирования временных рядов и библиотеку PyTorch. Сведения о размере контекста в токенах входных данных, поддерживаемых естественных языках и архитектуре базовой модели не приведены, поэтому их нельзя определить по доступной карточке. Для работы пакету требуется замороженный бэкбон Tabby-Pretrain.
timm/vit_5b_patch16_sapiens2.fb — конвертированное для timm представление предобученного зрительного бэкбона Sapiens2-5B, разработанного Meta. Это Vision Transformer с RoPE, GQA, SwiGLU, RMSNorm и QK-нормализацией, содержащий около 5,071 млрд параметров. Модель обучена на 1 млрд изображений людей и выдаёт плотные признаки по патчам изображения для настройки специализированных моделей. Бэкбон предназначен для извлечения признаков и инициализации голов для оценки позы, сегментации частей тела, предсказания нормалей поверхности и карт точек тела. Репозиторий содержит веса safetensors с именами параметров, преобразованными под timm; веса не дообучались. Применяется лицензия Sapiens2 License.
benjamintli/dfine-xl_sku110k — детектор объектов D-FINE, созданный дообучением ustc-community/dfine-xlarge-obj365. Модель принимает изображения и находит на них объекты, предсказывая их классы и расположение. В метаданных указаны архитектура DFineForObjectDetection и формат весов safetensors; базовая модель обучена на Objects365. В README приведены метрики оценки: mAP 0,2955, mAP@50 0,4836 и mAP@75 0,3305. Модель дообучена на наборе данных, который в карточке не назван; классы объектов и область применения поэтому установить нельзя. Лицензия — Apache-2.0.
EGM-Qwen3-VL-4B — мультимодальная модель визуальной привязки из семейства EGM (Efficient Visual Grounding Language Models), разработанная NVIDIA. Она дообучена на Qwen3-VL-4B-Thinking в два этапа: supervised fine-tuning и обучение с подкреплением GRPO. Архитектура — плотная Qwen3-VLForConditionalGeneration; веса доступны в формате safetensors. Размер модели — 4 млрд параметров. Модель принимает изображение и текстовый запрос и формирует текстовый ответ с локализацией объекта, указанного в запросе. Она предназначена для задач визуальной привязки, в том числе поиска объектов по описаниям с несколькими пространственными и смысловыми отношениями. В README сообщается средний IoU 90,9 на наборе RefCOCO и прирост 3,7 пункта относительно базовой модели. Модель ориентирована на английский язык. Результаты и заявленная специализация относятся к визуальной привязке; их не следует трактовать как подтверждение превосходства на других задачах компьютерного зрения или мультимодального анализа. Лицензия — Apache-2.0.
EoMT-DINOv3 ADE Semantic Large 512 — модель для семантической сегментации изображений, обученная на наборе ADE20K. Разработчик репозитория — tue-mps; архитектура EoMT (Encoder-only Mask Transformer) использует основу DINOv3 ViT-L/16. Модель содержит 402,7 млн параметров и рассчитана на изображения размером 512×512. Модель присваивает пикселям изображения семантические классы, что подходит для разметки сцен и анализа содержимого изображений. Архитектура EoMT выполняет сегментацию на основе ViT без отдельного специализированного декодера; README отмечает поддержку семантической, экземплярной и паноптической сегментации в семействе моделей при соответствующей постобработке, но эта версия обучена для семантической сегментации. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — MIT.
EoMT-DINOv3 COCO Panoptic Base 640 — модель компьютерного зрения семейства EoMT-DINOv3, опубликованная tue-mps. Она предназначена для паноптической сегментации изображений COCO при разрешении 640×640: одновременно выделяет объекты и сегментирует области фона. Архитектура EoMT — Vision Transformer с энкодером и масочным трансформером; базовая версия использует backbone DINOv3 ViT-B/16. По данным метаданных, модель содержит 113,2 млн параметров и работает через библиотеку Transformers. Подход EoMT позволяет выполнять семантическую, экземплярную и паноптическую сегментацию на общей основе с разной постобработкой. В README отмечены rotary position embeddings и предобучение DINOv3 от Meta AI. Модель обучена на COCO; для её весов указана лицензия MIT. Описанный режим рассчитан на изображения размером 640×640.
Mask2Former — модель компьютерного зрения от команды Meta, предназначенная для семантической сегментации изображений; этот чекпойнт обучен на ADE20K и использует вариант tiny с backbone Swin. Архитектура Mask2Former предсказывает набор масок и соответствующих им меток, объединяя общий подход к сегментации объектов, семантической и паноптической сегментации. В этой версии основная задача — семантическая сегментация сцен и объектов на изображении. Модель подходит для разметки областей изображения по классам и анализа визуальных сцен. Она использует архитектуру Mask2Former с многомасштабным декодером признаков на основе deformable attention и Transformer-декодером с masked attention. В карточке указана лицензия other; конкретные условия следует проверить в репозитории модели.
Mask2Former — модель компьютерного зрения от команды Mask2Former, представленная в статье «Masked-attention Mask Transformer for Universal Image Segmentation». Этот чекпойнт обучен на COCO для паноптической сегментации; он использует компактный вариант Swin в качестве backbone и архитектуру Mask2Former для предсказания масок и соответствующих им меток классов. Модель принимает изображение и формирует сегментацию объектов и фона, объединяя семантическую и экземплярную разметку в паноптическую. В основе архитектуры — многомасштабный pixel decoder с deformable attention и Transformer decoder с masked attention. Веса доступны в форматах PyTorch и Safetensors. Лицензия указана как other, поэтому условия использования следует проверять в репозитории модели.
LocalAI-io публикует набор весов SAM 3D Body на основе модели Meta facebook/sam-3d-body-dinov3 в формате GGUF F32 для запуска через sam3d.cpp на CPU или Vulkan. Это конверсия формата с выбором ветви оценки позы, а не дообучение и не низкобитная квантизация; обычные LLM-раннеры, включая llama.cpp, не подходят. По изображению одного человека, его ограничивающей рамке и параметрам камеры модель оценивает 3D-меш тела, суставы, параметры позы и перенос камеры. В комплект входят DINOv3 H+ и декодер тела с геометрией MHR LOD1; заявленный сценарий — восстановление позы и меша человека по отдельному изображению. Лицензия указана как other. Ограничения: уточнение по вырезкам кистей не реализовано, видео обрабатывается независимыми оценками кадров без временного трекера, а монокулярная глубина, окклюзии и неполные изображения могут вызывать неоднозначность и дрожание результата. Это оценки, а не измерения; комплект не включает автоматическое обнаружение людей, текстуры или экспорт анимируемого рига. README сообщает о незакрытых проверках точности геометрии CPU и численных отличиях BF16; результаты проверок не гарантируют точность на всех входах.