I.8Изображения и компьютерное зрение

Florence-2-base — базовая версия мультимодальной модели зрения Microsoft, представленная в репозитории как реализация для Hugging Face Transformers. Это плотная encoder-decoder модель последовательность-в-последовательность с примерно 0,23 млрд параметров, предварительно обученная на FLD-5B — наборе из 5,4 млрд аннотаций для 126 млн изображений. Репозиторий содержит веса PyTorch и Safetensors; лицензия — MIT. Модель принимает изображение и текстовую инструкцию-промпт, а затем выполняет задачи зрения и языка: описывает изображение, обнаруживает объекты, находит области по текстовому описанию, предлагает регионы, распознаёт текст на изображении и выполняет сегментацию. Поддерживаются zero-shot-применение и дообучение. В карточке приведены результаты оценки для описания изображений, детекции объектов и других визуально-языковых задач. Florence-2-base рассчитана на широкий круг задач анализа изображений, а не на отдельную предметную область. Модель может ошибаться при распознавании текста, локализации объектов и создании описаний; качество зависит от изображения и выбранного промпта. Данные о поддерживаемых естественных языках и длине контекста в предоставленных источниках отсутствуют.

Florence-2-large-ft — дообученная версия универсальной визуальной модели Florence-2 от Microsoft, представленная в реализации для библиотеки Transformers. Модель использует архитектуру encoder-decoder с генерацией последовательностей по текстовым инструкциям и содержит около 0,77 млрд параметров. Она принимает изображение и текстовый запрос, чтобы выполнять задачи описания изображения, обнаружения объектов, локализации фраз, OCR и визуальных вопросов и ответов. Модель предназначена для приложений компьютерного зрения и анализа изображений: например, для автоматического создания подписей, извлечения текста с его координатами и получения ответов о содержимом сцены. В карточке приведены результаты оценки на задачах описания изображений, обнаружения объектов и VQA; обучение проводилось на наборе FLD-5B с 5,4 млрд аннотаций для 126 млн изображений. Основная модальность — изображение на входе и текст на выходе; для некоторых задач модель также выдаёт координаты объектов и областей. Модель распространяется по лицензии MIT. Карточка не уточняет поддерживаемые естественные языки и длину контекста; качество может зависеть от типа изображения, формулировки запроса и конкретной задачи.

GhostNetV3 1.0 — компактная модель классификации изображений из семейства GhostNetV3, обученная авторами статьи на ImageNet-1k и опубликованная в формате timm. Она содержит 8,1 млн параметров, требует изображения размером 224 × 224 пикселя и может использоваться как классификатор или как backbone для извлечения карт признаков и эмбеддингов изображений. Модель предназначена для распознавания объектов и категорий на изображениях, в том числе в сценариях с ограниченными вычислительными ресурсами: её вычислительная сложность составляет около 0,4 GMAC. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0.

Карточка модели frovolts/grounding-dino-tiny на Hugging Face совпадает с карточкой IDEA-Research/grounding-dino-tiny, поэтому описание составлено по ней. Grounding DINO Tiny — компактный вариант модели Grounding DINO, разработанной Shilong Liu и соавторами. Она объединяет визуальный детектор объектов с текстовым энкодером и предназначена для обнаружения объектов по текстовым описаниям без отдельного обучения на размеченных примерах для каждого класса. Модель принимает изображение и текстовый запрос и возвращает найденные объекты с рамками и оценками соответствия запросу. Модель подходит для поиска объектов с открытым набором категорий и zero-shot-детекции; в статье для Grounding DINO сообщается результат 52,5 AP на COCO в режиме zero-shot. Репозиторий содержит веса PyTorch и Safetensors, лицензия — Apache-2.0. В карточке указана библиотека Transformers.

zeromodels/grounding_dino_tiny — это конверсия Grounding DINO Tiny, опубликованная проектом zeromodels. Модель выполняет обнаружение объектов по текстовому запросу в режиме open-set: вместо фиксированного набора классов она ищет на изображении объекты, названные пользователем. Архитектура включает визуальный энкодер Swin-Tiny, текстовый энкодер BERT и декодер, который предсказывает ограничивающие рамки и оценивает их соответствие словам запроса. Модель предназначена для поиска объектов по произвольным текстовым описаниям без отдельного обучения на каждый класс. Реализация выполнена на Keras 3 и работает с бэкендами TensorFlow, Torch и JAX. Для Torch README предупреждает о риске нехватки памяти при инференсе без отключения построения градиентов; качество результатов также зависит от формулировки запроса и порога оценки. Лицензия — Apache 2.0.

HGNet-V2 B1 — модель классификации изображений и извлечения визуальных признаков из семейства High Performance GPU Net. Её обучили авторы модели на очищенных данных ImageNet-22k и ImageNet-1k с применением дистилляции SSLD. В карточке указаны 6,3 млн параметров, вычислительная сложность 0,5 GMACs и размер входа 224 × 224 при обучении и 288 × 288 при тестировании. Модель предназначена для отнесения изображений к категориям, извлечения карт признаков и получения эмбеддингов изображений. Её можно использовать как компактную визуальную основу для систем распознавания объектов и поиска по изображениям. Репозиторий содержит веса PyTorch и Safetensors; для работы применяется библиотека timm. Лицензия — Apache 2.0.

HGNet-V2 B3 — модель классификации изображений и извлечения признаков семейства High Performance GPU Net. Её обучили авторы семейства на данных ImageNet-22k с дистилляцией SSLD, затем дообучили на ImageNet-1k. В репозитории используются PyTorch и safetensors; число параметров — 16,3 млн. Модель предназначена для присвоения изображениям категорий из набора ImageNet-1k. Её также можно применять как визуальный backbone для извлечения карт признаков и эмбеддингов. При обучении использовался размер изображения 224 × 224, при тестировании — 288 × 288. Модель рассчитана на изображения общего назначения, а не на отдельную предметную область. Классификация ограничена выученными категориями ImageNet; качество на иных данных зависит от сходства изображений с обучающими наборами и может требовать адаптации. Лицензия репозитория — Apache-2.0.

HRNet-W48 — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Версия hrnet_w48.ms_in1k обучена авторами работы на ImageNet-1k и опубликована в библиотеке timm. Архитектура HRNet сохраняет высокое пространственное разрешение представлений на разных этапах обработки; модель содержит 77,5 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Весовые файлы доступны в форматах PyTorch и safetensors. Лицензия — MIT. Показатели качества и скорости зависят от сценария и оборудования; модель обучалась на ImageNet-1k, поэтому её классы и поведение могут не соответствовать специализированным предметным задачам.

timm/maxvit_large_tf_384.in21k_ft_in1k — модель классификации изображений на основе архитектуры MaxViT, перенесённая из официальной реализации TensorFlow в PyTorch Россом Уайтманом. Исходные авторы MaxViT предварительно обучили её на ImageNet-21k, а затем дообучили на ImageNet-1k. Модель содержит около 212 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. MaxViT сочетает свёрточные блоки MBConv с двумя видами блоков внимания: оконным и сеточным. Модель предназначена для определения категорий на изображениях; также её можно использовать как основу для извлечения признаков и эмбеддингов изображений. Веса доступны в форматах PyTorch и Safetensors, библиотека для работы — timm. Лицензия — Apache-2.0.

Это модель классификации изображений на основе архитектуры MLP-Mixer, разработанная Alibaba-MIIL. Она предварительно обучена на ImageNet-21k и дообучена на ImageNet-1k; модель также может использоваться как визуальная основа для получения признаковых представлений изображений. Веса доступны через библиотеку timm в форматах PyTorch и safetensors. Модель содержит около 59,9 млн параметров, рассчитана на изображения размером 224 × 224 пикселя и требует около 12,6 GMACs на проход. Её можно применять для классификации изображений по классам ImageNet и извлечения эмбеддингов для последующей обработки. Лицензия — Apache-2.0.

MM Grounding DINO Tiny — модель обнаружения объектов с открытым словарём, разработанная авторами работы «An Open and Comprehensive Pipeline for Unified Object Grounding and Detection». Она принимает изображение и текстовые запросы с названиями объектов и возвращает обнаруженные объекты с рамками и оценками. Вариант Tiny использует backbone Swin-T; улучшенная контрастивная голова классов и отдельные параметры декодера повышают качество zero-shot-обнаружения. Модель обучена на Objects365v1, GOLD-G и V3Det. Модель предназначена для поиска объектов по текстовому описанию без необходимости ограничиваться фиксированным набором классов, а также для задач обнаружения объектов на изображениях. В приведённых результатах вариант показал 50,6 COCO mAP и 30,6 AP на LVIS Val1.0. Весовые файлы представлены в формате safetensors и распространяются по лицензии Apache-2.0.

mobilenetv2_120d.ra_in1k — сверточная модель семейства MobileNetV2 для классификации изображений, опубликованная в библиотеке timm. Она обучена на ImageNet-1k с рецептом RandAugment, оптимизатором RMSProp с поведением TensorFlow 1.0, усреднением весов EMA и ступенчатым экспоненциальным снижением скорости обучения с разогревом. Модель содержит 5,8 млн параметров, рассчитана на изображения размером 224 × 224 и требует около 0,7 GMAC на обработку изображения. Основной сценарий — отнесение изображения к классу ImageNet-1k; также модель можно использовать как основу для извлечения признаковых карт и эмбеддингов изображений. Весовые файлы представлены в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Карточка не сообщает о специальных ограничениях применения.

Perception Encoder Spatial G/14 448 — визуальный энкодер Meta из семейства Perception Encoder. Модель извлекает детализированные пространственные признаки изображений для задач классификации, поиска и плотного предсказания, включая обнаружение объектов и сегментацию. Вариант G/14 работает с разрешением 448 пикселей; в карточке приведены результаты на ADE20K, LVIS и COCO. Модель основана на контрастивном vision-language предобучении PE Core и дообучена с самодистилляцией от промежуточных слоёв учителя и уточнением признаков с помощью масок SAM 2.1. Её особенность — пространственно детализированные признаки с семантическими соответствиями между частями объектов. Принимает изображения и выдаёт признаки; лицензия — Apache 2.0. В README заявлена поддержка понимания изображений и видео для семейства PE, но для этого чекпойнта видео-вход отдельно не подтверждён.

PoolFormer S12 — модель классификации изображений и извлечения визуальных признаков из семейства MetaFormer. Её обучили авторы исследования на ImageNet-1k; модель доступна через библиотеку timm. В ней 11,9 млн параметров, вычислительная сложность составляет 1,8 GMAC, а указанный размер входного изображения — 224 × 224 пикселя. Модель предназначена для отнесения изображений к классам ImageNet-1k и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Репозиторий содержит веса PyTorch и SafeTensors. Лицензия — Apache-2.0.

RegNetX-1.6GF — модель классификации изображений и извлечения признаков из семейства RegNetX, опубликованная в репозитории timm. Веса предварительно обучены авторами статьи на ImageNet-1k. Модель содержит около 9,2 млн параметров, требует 1,6 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для присвоения изображениям классов ImageNet-1k, использования в качестве визуального backbone и извлечения карт признаков или эмбеддингов. Реализация timm поддерживает стохастическую глубину, градиентное контрольное сохранение, настройку шага свёрток, слоёв активации и нормализации. Веса доступны в форматах PyTorch и Safetensors. Лицензия — MIT. Качество классификации за пределами ImageNet-1k и перенос на специализированные наборы данных README не характеризует; для других размеров входа или областей применения может потребоваться адаптация.

RegNetY-3.2GF — сверточная модель классификации изображений из библиотеки timm, обученная Россом Уайтманом на ImageNet-1k. Она предназначена для присвоения изображениям меток классов и может использоваться как базовая сеть для извлечения карт признаков и визуальных эмбеддингов. Модель содержит 19,4 млн параметров и требует 3,2 GMACs. В README указаны размеры изображений 224×224 для обучения и 288×288 для тестирования. Реализация timm включает стохастическую глубину, контрольные точки градиентов и настройку шага выхода, среди других параметров архитектуры. Репозиторий содержит веса PyTorch и SafeTensors; библиотека запуска — timm. Модель подходит для классификации изображений общего назначения и построения компьютерно-зрительных конвейеров, использующих признаки ImageNet. Карточка не описывает поддержку иных языков изображений, кроме английских названий классов ImageNet, и не приводит специальных ограничений качества. Лицензия — Apache-2.0.

RepVGG B1 — сверточная модель классификации изображений, опубликованная авторами статьи RepVGG и обученная на ImageNet-1k. В каталоге timm она реализована через BYOBNet и предназначена для классификации изображений, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 57,4 млн параметров, имеет вычислительную сложность 13,2 GMAC и рассчитана на изображения размером 224 × 224 пикселя. Она принимает изображения и выдаёт классы ImageNet-1k; характеристики контекстного окна и языков к ней неприменимы. Репозиторий содержит веса PyTorch и safetensors. Лицензия — MIT.

ResNeSt-50d_4s2x40d — сверточная модель классификации изображений семейства ResNeSt, разработанная авторами статьи о Split-Attention Networks и обученная на ImageNet-1k. Она также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Модель содержит 30,4 млн параметров, использует архитектуру на основе ResNet с механизмом Split Attention и рассчитана на изображения размером 224 × 224 пикселя. Вычислительная сложность указана как 4,4 GMACs. Репозиторий содержит веса PyTorch и SafeTensors; лицензия — Apache-2.0. Модель подходит для классификации изображений общего назначения и получения признаков для последующих компьютерно-зрительных задач. Она обучена на ImageNet-1k, поэтому её классы и качество ориентированы на этот набор данных; карточка не описывает специализированную адаптацию к другим предметным областям.

ResNet-S — сверточная модель классификации изображений и извлечения признаков из семейства ResNet, опубликованная проектом timm. Она обучена на ImageNet-1k в Apache Gluon с рецептами Bag of Tricks. Архитектура использует активации ReLU, расширенный трехслойный блок сверток 3×3 в начале сети, пулинг и переходы между блоками через свертки 1×1. Модель содержит 44,7 млн параметров и рассчитана на изображения размером 224×224. Модель подходит для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения визуальных эмбеддингов. Чекпойнт доступен в форматах PyTorch и safetensors. Лицензия — Apache-2.0. README не приводит отдельной оценки качества именно этой модели; производительность зависит от разрешения входного изображения и вычислительной среды.

ResNet101.tv2_in1k — модель классификации изображений семейства ResNet-B, опубликованная командой timm. Она обучена на ImageNet-1k в torchvision с рецептами обучения версии 2; архитектура использует активации ReLU, свёртку 7×7 с пулингом и проекции 1×1 для нисходящих shortcut-соединений. Модель содержит 44,5 млн параметров и требует изображение размером 224×224 пикселя на этапе тестирования. Модель предназначена для классификации изображений по классам ImageNet, а также может служить визуальной основой для извлечения карт признаков и эмбеддингов изображений. Репозиторий предоставляет веса PyTorch и SafeTensors, а лицензия — BSD 3-Clause. Карточка не приводит оценки качества именно этой модели, поэтому сравнивать её точность по представленным данным нельзя.

ResNet50.a3_in1k — модель классификации изображений семейства ResNet, опубликованная командой timm. Она обучена на ImageNet-1k по рецепту ResNet Strikes Back A3 с оптимизатором LAMB, функцией потерь BCE и косинусным расписанием скорости обучения с разогревом. Архитектура использует ReLU, свёртку 7×7 с пулингом и короткие связи с понижающими свёртками 1×1; модель содержит около 25,6 млн параметров и требует 2,1 GMAC на изображение. Модель принимает изображение и предсказывает его класс из набора ImageNet-1k. Её также можно применять как основу для извлечения карт признаков и эмбеддингов изображений. Для обучения использовался размер изображения 160×160, а при тестировании — 224×224. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель предназначена для задач классификации общего назначения на изображениях ImageNet; результаты на других данных могут отличаться.

ResNet50D A2 In1k — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k по рецепту ResNet Strikes Back A2. Архитектура ResNet-D использует активации ReLU, стем из трёх свёрток 3×3 с пуллингом и shortcut downsample с усредняющим пуллингом 2×2 и свёрткой 1×1. В модели 25,6 млн параметров и 4,4 GMACs. Модель предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов. При обучении использовался размер изображения 224×224, при тестировании — 288×288. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0. Модель работает с изображениями и выдаёт классы, карты признаков или эмбеддинги в зависимости от способа использования.

ResNetAA101d — свёрточная модель классификации изображений и извлечения признаков, разработанная Россом Уайтманом для библиотеки timm. Это вариант ResNet-D с антиалиасингом Rectangle-2: в архитектуре используются активации ReLU, трёхслойный ствол из свёрток 3×3 с пулингом и короткие соединения с усредняющим пулингом 2×2 и свёрткой 1×1. Модель содержит 44,6 млн параметров и требует 9,1 GMACs. Модель предварительно обучена на ImageNet-12k и дообучена на ImageNet-1k. Она предназначена для классификации изображений, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. В карточке указаны размеры изображений 224×224 при обучении и 288×288 при оценке. Модель принимает изображения и выдаёт классы изображений или визуальные признаки в зависимости от выбранного режима использования. Опубликованные веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Карточка не приводит отдельных ограничений, кроме специализации на классификации изображений.

ResNetRS-50 — сверточная модель семейства ResNetRS для классификации изображений и извлечения визуальных признаков. Версия resnetrs50.tf_in1k создана авторами статьи и обучена на ImageNet-1k в TensorFlow; репозиторий распространяет веса в форматах PyTorch и safetensors через timm. Модель содержит 35,7 млн параметров и использует ReLU, свертку 7×7 с пулингом и проекции 1×1 в обходных соединениях. Модель предназначена для присвоения изображениям классов ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Размер изображения при обучении составлял 160×160 пикселей, при тестировании — 224×224. Лицензия репозитория — Apache-2.0. Она обучена на ImageNet-1k, поэтому её классификационные возможности ориентированы на категории этого набора данных.

ResNetV2-50d-GN — свёрточная модель классификации изображений, обученная Россом Уайтманом в библиотеке timm на ImageNet-1k по рецепту A1 из работы ResNet Strikes Back. Вариант ResNet с предварительной активацией использует трёхслойный ствол из свёрток 3×3, усреднённое пулинг-преобразование в shortcut-связях при уменьшении разрешения и Group Normalization вместо Batch Normalization. Модель содержит 25,6 млн параметров и выполняет около 4,4 GMACs на изображение. Основное назначение — классификация изображений по классам ImageNet-1k; также модель подходит как свёрточная основа для извлечения карт признаков и векторов изображений. Обучение проводилось на изображениях 224×224, а для тестирования в карточке указано разрешение 288×288. Модель принимает изображения и выдаёт метки классов либо признаки в зависимости от используемого сценария. Лицензия — Apache-2.0.

ResNeXt101-32x8d — свёрточная модель классификации изображений из библиотеки timm. Авторы статьи предварительно обучили её на наборе хештегов Instagram-1B с использованием слабого надзора, а затем дообучили на ImageNet-1k. Модель также может использоваться как основа для извлечения признаковых карт и эмбеддингов изображений. Архитектура включает начальную свёртку 7×7 с пулингом, групповые свёртки 3×3 в bottleneck-блоках, связи с остаточными преобразованиями и ReLU. В модели 88,8 млн параметров; указан входной размер изображения 224×224. Она предназначена для классификации изображений и извлечения визуальных признаков. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не коммерческое применение.

ResNeXt-D 32x4d BT-IN1K — свёрточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k по рецепту Bag of Tricks. Архитектура использует трёхслойный свёрточный stem с pooling, групповые свёртки 3×3 в bottleneck-блоках и shortcut с усредняющим пулингом 2×2 и свёрткой 1×1. В модели около 25 млн параметров и 4,5 GMACs; размер изображения при обучении — 224×224, при тестировании — 288×288. Модель подходит для классификации изображений и извлечения признаков, карт признаков и эмбеддингов как основы компьютерного зрения. Для классификации она выдаёт метки классов ImageNet-1k. Обучение проводилось с оптимизатором SGD с Nesterov и косинусным расписанием скорости обучения с разогревом. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает отдельную специализацию на других наборах данных или предметных областях.

ReXNet-150 — свёрточная модель классификации изображений из семейства ReXNet, опубликованная авторами работы «Rethinking Channel Dimensions for Efficient Model Design» и представленная в библиотеке timm. Модель обучена на ImageNet-1k и содержит около 9,7 млн параметров; рекомендуемый размер входного изображения — 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и визуальных эмбеддингов. Компактный размер и вычислительная стоимость около 0,9 GMAC делают её подходящей для эффективных задач компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors. Лицензия — MIT.

ReXNet-R 200 — модель классификации изображений и извлечения признаков из семейства ReXNet-R, представленная Ross Wightman в библиотеке timm. Вариант архитектуры ReXNet-R специально округляет число каналов до кратных 8 или 16, чтобы эффективнее работать с NVIDIA Tensor Cores. Модель предварительно обучена на ImageNet-12k и дообучена на ImageNet-1k. Она содержит около 16,5 млн параметров; в карточке указаны размер изображения 224 × 224 для обучения и 288 × 288 для тестирования. На ImageNet-1k приведены результаты top-1 83,164% и top-5 96,648%. Помимо классификации, модель можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. Для запуска требуются изображения; модель выдаёт оценки классов и признаки изображения. Лицензия — Apache-2.0. Результаты и назначение ориентированы на ImageNet, поэтому качество на других наборах данных и специализированных типах изображений может отличаться.

Это предварительно обученный визуальный энкодер RoPE SoViT с 150-миллионным вариантом архитектуры p14 и компонентами SwiGLU, RMS и register-токенами; модель разработана проектом Birder и обучена с помощью CAPI. Она предназначена для извлечения признаков изображений общего назначения и использования в качестве основы для последующего обучения классификаторов, детекторов объектов и моделей сегментации. Модель содержит 171 млн параметров и принимает изображения размером 224 × 224 пикселя; обучение проводилось на разнообразном наборе примерно из 21 млн изображений. Энкодер не дообучен под конкретную задачу классификации. Карточка демонстрирует получение эмбеддингов изображений и карт признаков для обнаружения объектов; лицензия — Apache-2.0.