I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельdla60.in1k — модель классификации изображений на основе архитектуры DLA (Deep Layer Aggregation), обученная авторами оригинальной работы на ImageNet-1k. Она предназначена для классификации изображений и может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. Модель содержит около 22 млн параметров, требует 4,3 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Репозиторий использует библиотеку timm и содержит веса в форматах PyTorch и Safetensors. Лицензия — BSD 3-Clause.
ECA-NFNet-L0.ra2_in1k — модель классификации изображений из библиотеки timm, обученная Россом Уайтманом на ImageNet-1k. Она также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Архитектура основана на облегчённом варианте Normalization-Free Network: ResNet-подобная сеть без слоёв нормализации, со Scaled Weight Standardization и масштабированием сигналов в остаточных связях. Вариант для timm уменьшает ширину блоков и использует более компактные группы; вместо SE-механизма внимания применяется ECA, а активация — SiLU. Модель содержит 24,1 млн параметров; размер изображения при обучении — 224×224, при тестировании — 288×288. Модель предназначена для классификации изображений и извлечения визуальных признаков. Карточка не сообщает метрики качества. Распространяется по лицензии Apache-2.0.
ecaresnet269d.ra2_in1k — сверточная модель классификации изображений из библиотеки timm с архитектурой ECA-ResNet-D и механизмом Efficient Channel Attention. Модель обучена на ImageNet-1k по рецепту RandAugment RA2; в её архитектуре используются ReLU, трёхслойный блок начальной свёртки, усредняющее объединение и свёрточные обходные соединения. Веса доступны в форматах PyTorch и safetensors, лицензия — Apache-2.0. Модель предназначена для классификации изображений и может служить визуальным backbone: README также описывает извлечение карт признаков и эмбеддингов. Размер модели — 102,1 млн параметров; при обучении использовались изображения 320×320, при тестировании — 352×352. Архитектура и вычислительная стоимость делают её пригодной для задач компьютерного зрения, где требуется классификация или извлечение признаков; указанные размеры изображений следует учитывать при подготовке входных данных.
ECA-ResNet-T — сверточная модель для классификации изображений и извлечения признаков, предоставляемая в библиотеке timm. Она использует остаточную архитектуру ResNet с механизмом Efficient Channel Attention, ReLU и трёхслойной начальной частью из свёрток 3×3. Модель содержит 25,6 млн параметров и обучена на ImageNet-1k с рецептом RandAugment RA2; для тестирования в карточке указано разрешение 320×320 пикселей. Модель подходит для определения классов объектов на изображениях, извлечения карт признаков и получения эмбеддингов изображений. Для запуска доступны веса PyTorch и safetensors; библиотека модели — timm. Лицензия — Apache-2.0. Качество и вычислительная нагрузка зависят от разрешения входного изображения и сценария применения. Модель обучена на ImageNet-1k, поэтому карточка не подтверждает специализацию на предметных областях вне этого набора классов.
ecaresnetlight.miil_in1k — свёрточная модель классификации изображений из семейства ECA-ResNet-T, представленная в timm и обученная Alibaba MIIL на ImageNet-1k. Она также может служить визуальным backbone для извлечения карт признаков и эмбеддингов изображений. Модель использует остаточные блоки ResNet и Efficient Channel Attention; в архитектуре указаны ReLU, трёхслойный stem из свёрток 3×3 с pooling и shortcut с average pooling 2×2 и свёрткой 1×1. В ней около 30,2 млн параметров и 4,1 GMACs. Размер изображения при обучении — 224×224, при тестировании — 288×288. Модель подходит для определения категорий объектов на изображениях и получения визуальных признаков для последующих задач. README не приводит сведения о качестве именно этой модели, кроме общих характеристик вычислительной сложности. Лицензия — Apache-2.0.
EfficientNet-B0 — сверточная модель классификации изображений, обученная командой timm на ImageNet-1k с рецептом RandAugment RA. Модель содержит около 5,3 млн параметров и рассчитана на изображения размером 224 × 224 пикселя; вычислительная сложность составляет около 0,4 GMAC на изображение. Модель предназначена для классификации изображений по классам ImageNet-1k и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Для обучения применялись RMSProp с поведением TensorFlow 1.0, усреднение весов EMA и ступенчатое экспоненциальное снижение скорости обучения с разогревом. Репозиторий предоставляет веса в форматах PyTorch и Safetensors и использует библиотеку timm. Лицензия — Apache-2.0. Модель ориентирована на ImageNet-1k и изображения стандартного размера; качество на иных наборах данных и предметных областях может отличаться.
EfficientNet-Lite0.ra_in1k — сверточная модель классификации изображений из библиотеки timm. Её обучили на ImageNet-1k с рецептом RandAugment, оптимизатором RMSProp и усреднением весов EMA. Модель содержит около 4,7 млн параметров, рассчитана на изображения 224 × 224 пикселя и требует около 0,4 GMAC на проход. Модель подходит для классификации изображений по классам ImageNet-1k, а также может использоваться как сверточная основа для извлечения карт признаков и векторов изображений. Это компактный вариант EfficientNet-Lite для сценариев, где важны умеренные вычислительные затраты. Репозиторий предоставляет веса PyTorch и Safetensors; лицензия — Apache-2.0.
Это совместимая с Transformers контрольная точка SAM3-LiteText с текстовым энкодером MobileCLIP, подготовленная nielsr на основе модели из статьи SAM3-LiteText. Модель предназначена для генерации масок по текстовому описанию объектов на изображениях; её можно загружать через класс Sam3LiteTextModel и использовать в Transformers по схеме SAM-3. Репозиторий содержит веса safetensors. Карточка не сообщает размер модели, длину контекста, языки, лицензию и подробные результаты качества.
EfficientViT B3 — модель классификации изображений и извлечения визуальных признаков из семейства EfficientViT, разработанная авторами исследования MIT. Она обучена на ImageNet-1k и рассчитана на изображения размером 288 × 288 пикселей; содержит 48,6 млн параметров и может использоваться как классификатор, основа для извлечения карт признаков или получения эмбеддингов изображений. Репозиторий предоставляет веса PyTorch и SafeTensors, библиотека для работы — timm. Модель подходит для классификации изображений по категориям ImageNet, построения визуальных эмбеддингов и извлечения признаков для последующих компьютерно-зрительных задач. Лицензия Apache-2.0 допускает использование на её условиях. Она обучена на ImageNet-1k, поэтому её классы и качество на специализированных или отличающихся от ImageNet данных могут быть ограничены; входной размер модели — 288 × 288 пикселей.
kittn/eupe_vits16 — конверсия EUPE ViT-S/16 в формат Hugging Face Transformers на базе DINOv3, опубликованная пользователем kittn. Модель предназначена для извлечения признаков изображений; её можно использовать как визуальный энкодер для получения представлений изображения и патчей через last_hidden_state. Архитектура — ViT-S/16 с 28,3 млн параметров, 12 слоями, скрытым размером 384, шестью головами внимания, четырьмя register-токенами и размером патча 16. Репозиторий содержит веса safetensors. Для минимального расхождения с исходным путём инференса README рекомендует запуск на CUDA с bf16 autocast. Реализация RoPE в стандартном Hugging Face DINOv3 согласована сама с собой, но без дополнительной правки не совпадает побитно с эталонной реализацией EUPE/DINOv3. Лицензия указана как other, поэтому конкретные права использования по имеющимся сведениям определить нельзя. Модель принимает изображения и выдаёт признаки-векторы; естественные языки для неё не применимы.
EVA02 Base Patch14 448 — модель компьютерного зрения из семейства EVA-02, распространяемая в библиотеке timm. Она предназначена для классификации изображений и извлечения визуальных признаков. Модель содержит 87,1 млн параметров и рассчитана на изображения размером 448 × 448 пикселей. Модель предобучена на ImageNet-22k методом masked image modeling с EVA-CLIP в роли учителя, затем дообучена авторами на ImageNet-22k и ImageNet-1k. Архитектура Vision Transformer использует mean pooling, SwiGLU, Rotary Position Embeddings и дополнительный LayerNorm в MLP. Веса timm представлены в формате float32 и доступны как PyTorch и safetensors. Подходит для классификации изображений и использования в качестве визуального backbone для задач, которым нужны признаки изображения. В сравнительной таблице README приведены результаты ImageNet для других вариантов EVA-02, но отдельные метрики этой модели не указаны. Лицензия — MIT.
FastViT-T8 — компактная модель классификации изображений семейства FastViT, обученная авторами статьи на ImageNet-1k и опубликованная в формате timm. Она также подходит для извлечения карт признаков и визуальных эмбеддингов, поэтому может служить лёгкой основой для компьютерного зрения. Модель содержит около 4 млн параметров, требует изображения размером 256 × 256 пикселей и имеет вычислительную сложность 0,7 GMACs. Архитектура FastViT сочетает свёрточные и трансформерные компоненты и использует структурную репараметризацию. Модель предназначена для отнесения изображений к классам ImageNet-1k и извлечения признаков в конвейерах компьютерного зрения. Карточка просит соблюдать исходную лицензию; метаданные указывают лицензию «other», поэтому условия следует сверять с лицензией авторов.
fbnetv3_g.ra2_in1k — модель FBNet-v3 для классификации изображений, представленная в библиотеке timm и обученная на ImageNet-1k. Она также может использоваться как визуальный backbone для извлечения карт признаков и изображенческих эмбеддингов. Модель содержит 16,6 млн параметров и требует около 1,3 GMACs на изображение. Размер входа при обучении составлял 240 × 240 пикселей, при тестировании — 288 × 288. При обучении применялась схема RandAugment RA2, оптимизатор RMSProp с усреднением EMA и ступенчатое экспоненциальное снижение скорости обучения с разогревом. Модель принимает изображения и выдаёт классы ImageNet-1k; её также можно применять для извлечения признаков. Карточка не описывает поддержку иных языков или модальностей. Лицензия Apache-2.0.
gmixer_24_224.ra3_in1k — модель классификации изображений и извлечения признаков из семейства G-Mixer, разработанная Россом Уайтманом и обученная в библиотеке timm на ImageNet-1k. Это вариант архитектуры MLP-Mixer с блоками SwiGLU; модель содержит 24,7 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений по классам ImageNet-1k, а также для получения визуальных эмбеддингов, которые можно использовать в последующих задачах компьютерного зрения. Репозиторий содержит веса PyTorch и Safetensors. Модель распространяется по лицензии Apache-2.0.
Карточка модели Rqwannn/grounded-bbox-base на Hugging Face совпадает с карточкой IDEA-Research/grounding-dino-base, поэтому описание составлено по ней. Grounding DINO Base — модель обнаружения объектов с открытым набором классов, представленная авторами исследования «Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection». Архитектура Grounding DINO объединяет детектор объектов DINO с текстовым энкодером, чтобы находить на изображении объекты, соответствующие текстовым описаниям или названиям классов. Модель предназначена для обнаружения объектов без заранее размеченных примеров для каждого класса. Её можно использовать для поиска объектов по текстовому запросу и zero-shot-детекции; в README сообщается результат 52,5 AP на COCO в режиме zero-shot. Репозиторий содержит веса PyTorch и safetensors. Модель принимает изображение и текстовый запрос, а выдаёт координаты обнаруженных объектов и оценки уверенности. Карточка не приводит сведения о поддерживаемых естественных языках или ограничениях качества по типам изображений. Лицензия — Apache-2.0.
Grounding DINO Tiny — компактный вариант модели Grounding DINO, разработанной Shilong Liu и соавторами. Она объединяет визуальный детектор объектов с текстовым энкодером и предназначена для обнаружения объектов по текстовым описаниям без отдельного обучения на размеченных примерах для каждого класса. Модель принимает изображение и текстовый запрос и возвращает найденные объекты с рамками и оценками соответствия запросу. Модель подходит для поиска объектов с открытым набором категорий и zero-shot-детекции; в статье для Grounding DINO сообщается результат 52,5 AP на COCO в режиме zero-shot. Репозиторий содержит веса PyTorch и Safetensors, лицензия — Apache-2.0. В карточке указана библиотека Transformers.
HRNet-W64 — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. По карточке timm, её обучили авторы работы Deep High-Resolution Representation Learning for Visual Recognition на ImageNet-1k; модель также доступна через библиотеку timm. Веса содержат около 128,1 млн параметров, а указанное входное разрешение составляет 224 × 224 пикселя. Модель подходит для классификации изображений по категориям ImageNet-1k, получения карт признаков и визуальных эмбеддингов, которые можно использовать в последующих задачах компьютерного зрения. Карточка не сообщает о поддержке текстового или иных не-изобразительных входов. Репозиторий распространяется по лицензии MIT.
Это модель I-JEPA Huge от Meta, дообученная на ImageNet-22K и предназначенная для извлечения признаков изображений. I-JEPA учится предсказывать представления скрытых частей изображения по другим его частям в латентном пространстве, формируя семантические признаки без восстановления пикселей. Модель построена на архитектуре Vision Transformer и содержит около 838,9 млн параметров. Модель принимает изображения и выдаёт векторные признаки, которые можно использовать в качестве входа для последующих задач компьютерного зрения, включая классификацию изображений. В карточке указана библиотека Transformers; веса опубликованы в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческих целях.
MaxViT-RMLP Base RW 224 SW IN12k — модель классификации изображений из библиотеки timm, обученная Россом Уайтманом на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом. Это вариант MaxViT с блоками MBConv и двумя видами внимания: оконным и сеточным. В названии RMLP указывает на MLP-вариант непрерывного смещения относительных координат, мотивированный Swin Transformer V2. Модель рассчитана на классификацию изображений и может использоваться как визуальный backbone для извлечения признаковых карт и эмбеддингов. Для входа предполагаются изображения размером 224 × 224 пикселя. В карточке указаны 124,5 млн параметров и вычислительная сложность 23,2 GMAC. Веса доступны в форматах PyTorch и safetensors; лицензия — Apache-2.0.
MaxxViT-V2 Nano RW 256 — модель классификации изображений из библиотеки timm, обученная Россом Уайтманом на ImageNet-1k. Она предназначена для отнесения изображений к классам ImageNet и может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. Архитектура MaxxViT-V2 сочетает блоки ConvNeXt с grid self-attention; вариант RW содержит настройки timm, рассчитанные на работу в PyTorch eager. Модель содержит 23,7 млн параметров, рассчитана на входные изображения размером 256 × 256 и требует около 6,3 GMACs на проход. Доступны веса PyTorch и Safetensors. Модель принимает изображения и выдаёт оценки классов. Её обучение и классы ImageNet-1k ориентированы на общецелевое распознавание объектов, а не на предметную область или текстовый ввод. Лицензия — Apache-2.0.
MM Grounding DINO Large — модель компьютерного зрения семейства Grounding DINO, представленная авторами работы «An Open and Comprehensive Pipeline for Unified Object Grounding and Detection». Она предназначена для обнаружения объектов по текстовым запросам без отдельного обучения на каждом заданном классе: на вход подаются изображение и текстовые описания объектов, на выходе — найденные объекты с ограничивающими рамками и оценками уверенности. Модель улучшает Grounding DINO за счёт контрастивной классификационной головы и отказа от разделения параметров декодера. В карточке для семейства указаны результаты на COCO и LVIS, но приведённые подробные таблицы относятся к вариантам tiny и не подтверждают показатели именно этой версии large. Модель обучалась на наборах Objects365, Open Images, GOLD-G, V3Det, COCO, LVIS, GRIT и RefCOCO. Модель работает с изображениями и текстом и выдаёт текстовые категории, оценки и координаты рамок. Репозиторий использует библиотеку Transformers и формат safetensors. Лицензия Apache-2.0.
Это модель классификации изображений MobileNetV4 с обычными свёрточными блоками и AvgPool Anti-Aliasing, подготовленная Россом Уайтменом с помощью timm. Она обучена на ImageNet-1k и подходит для распознавания объектов и сцен на изображениях, а также для использования в качестве визуального backbone при извлечении карт признаков и эмбеддингов. Число параметров — 32,6 млн; вычислительная сложность — 7,1 GMAC. Размер изображения при обучении составлял 384 × 384 пикселя, при тестировании — 480 × 480. Модель принимает изображения и выдаёт метки классов ImageNet-1k. В репозитории размещены веса PyTorch в формате safetensors; лицензия — Apache-2.0. В README указано, что на момент публикации это единственные известные веса MobileNetV4, а официальные веса TensorFlow ещё не выпущены.
MobileOne-S2 — модель классификации изображений из семейства MobileOne, опубликованная авторами соответствующей работы и обученная на ImageNet-1k. Она также предназначена для извлечения карт признаков и визуальных эмбеддингов. Модель содержит около 7,9 млн параметров, требует 1,3 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Это компактный визуальный backbone для сценариев, где важны скорость и вычислительная эффективность. Модель принимает изображения и выдаёт классы либо признаки и эмбеддинги, в зависимости от выбранного режима использования. Репозиторий распространяет веса в форматах PyTorch и Safetensors. Лицензия указана как other; README просит соблюдать исходную лицензию.
MobileViT-v2 0.75 — модель классификации изображений и компактная визуальная основа, обученная авторами статьи на ImageNet-1k. Она содержит около 2,9 млн параметров и требует изображения размером 256 × 256 пикселей; архитектура сочетает мобильные сверточные блоки с механизмом self-attention, описанным в статье «Separable Self-attention for Mobile Vision Transformers». Модель предназначена для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов, в том числе в сценариях с ограниченными вычислительными ресурсами. Репозиторий распространяет веса в форматах PyTorch и safetensors. Лицензия обозначена как other; конкретные условия следует уточнить по лицензии репозитория.
MobileViT-v2 100 — модель классификации изображений и извлечения визуальных признаков из семейства MobileViT-v2, опубликованная авторами статьи и обученная на ImageNet-1k. Она содержит около 4,9 млн параметров, требует 1,8 GMACs и рассчитана на изображения размером 256 × 256 пикселей. Модель подходит для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов; компактный размер делает её подходящей для сценариев компьютерного зрения с ограничениями по вычислениям. Репозиторий предоставляет веса PyTorch в формате safetensors и поддерживает библиотеку timm. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.
timm/pit_ti_distilled_224.in1k — компактная модель классификации изображений семейства PiT (Pooling-based Vision Transformer), опубликованная авторами timm. Модель обучена на ImageNet-1k с дистилляцией по токенам; содержит 5,1 млн параметров, требует изображения размером 224 × 224 и имеет вычислительную сложность около 0,7 GMAC. Модель подходит для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Компактный размер делает её пригодной для задач, где важны низкие вычислительные затраты. Лицензия — Apache-2.0.
Zetatech/pvt-tiny-224 — компактная модель Pyramid Vision Transformer (PVT), основанная на архитектуре трансформерного энкодера с пирамидальным уменьшением пространственного разрешения. Она предобучена на ImageNet-1K и дообучена для классификации изображений на 1000 классов ImageNet 2012. Модель принимает изображение, подготовленное к разрешению 224×224 и нормализованное по RGB-каналам, и предсказывает класс ImageNet. PVT создаёт признаки из последовательностей линейно встроенных патчей и использует токен CLS для классификации. Пирамидальная структура сокращает вычисления на крупных картах признаков и делает модель пригодной также как визуальный энкодер для последующих задач компьютерного зрения. Репозиторий содержит веса PyTorch и SafeTensors. Лицензия — Apache 2.0.
timm/qwen3_vit_306m.qwen3_5_2b — модель-энкодер изображений на основе зрительных весов Qwen3.5-2B, представленная в формате timm. Она предназначена для извлечения признаков изображений и получения векторных представлений, которые можно использовать в последующих задачах компьютерного зрения и при дообучении классификатора на целевом наборе данных. Модель содержит около 305,5 млн параметров и использует визуальный трансформер с шириной backbone 1024, GELU-tanh MLP, обучаемыми абсолютными позициями и осевым 2D RoPE. Изображения обрабатываются как RGB; поддерживаются прямоугольные размеры, кратные 16. Входной размер в карточке — 768×768. Веса преобразованы из визуального компонента Qwen3.5-2B для реализации image-only: временные веса свёртки сведены к двумерной свёртке. Это конверсия визуальных весов без дополнительного обучения. В репозитории нет весов языковой модели и обученной головы классификации; новая линейная голова требует обучения на целевых данных. Лицензия — Apache 2.0.
Это модель-энкодер изображений timm/qwen3_vit_306m.qwen3_vl_4b, созданная сообществом timm путём переноса весов визуального энкодера Qwen3-VL-4B-Instruct в формат timm без дополнительного обучения. Она извлекает пространственные признаки изображений и выдаёт векторные представления, пригодные для последующего добавления и обучения классификационной головы или использования в собственных компьютерно-зрительных конвейерах. Модель содержит 305,5 млн параметров; заявленный размер изображения — 768×768, поддерживаются прямоугольные входы. Входные размеры должны делиться на 16, а для вариантов с объединением 2×2 — на 32. Реализация предназначена только для изображений: временное свёрточное ядро преобразовано для обработки одного кадра, а языковые веса и обученная классификационная голова отсутствуют. Промежуточные пространственные признаки доступны отдельно. Лицензия — Apache 2.0.
RegNetX-600MF — свёрточная модель классификации изображений из семейства RegNetX, представленная в библиотеке timm. Веса предварительно обучены авторами статьи на ImageNet-1k; модель содержит около 6,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как backbone для извлечения признаков, карт признаков и эмбеддингов изображений. В реализации timm предусмотрены стохастическая глубина, градиентный чекпойнтинг и настраиваемые параметры архитектуры. Репозиторий предоставляет веса в форматах PyTorch и safetensors. Модель принимает изображения и выдаёт предсказания классов. Обучение на ImageNet-1k ориентирует её на классы этого набора данных; специализация на других предметных областях не заявлена. Лицензия — MIT.