I.8Изображения и компьютерное зрение

Web-SSL DINO ViT-3B Heavy Filtered 2B — визуальная модель семейства DINOv2, разработанная авторами работы «Scaling Language-Free Visual Representation Learning» (Fan et al., 2025). Это ViT с 3,9 млрд параметров по метаданным, обученный методом самообучения на тщательно отфильтрованных веб-изображениях без языковой супервизии. Модель принимает изображения размером 224×224 пикселя и предназначена для извлечения визуальных признаков. В обучающую выборку Heavy2B преимущественно отбирались изображения с диаграммами, таблицами и документами с читаемым текстом; README сообщает, что такие изображения составляют 1,3% исходного набора MetaCLIP. Фокус на этих материалах улучшает возможности OCR и понимания диаграмм, при этом модель рассчитана и на общие задачи компьютерного зрения. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства на некоммерческих условиях.

XCiT Small/12 P16 224 fb_dist_in1k — модель классификации изображений и извлечения признаков из семейства Cross-Covariance Image Transformer (XCiT). Карточка указывает, что модель обучена авторами статьи на ImageNet-1k с дистилляцией; репозиторий предоставляет веса в форматах PyTorch и safetensors и рассчитан на использование с библиотекой timm. Модель содержит 26,3 млн параметров, обрабатывает изображения размером 224 × 224 и может служить классификатором либо основой для получения эмбеддингов изображений. Основной сценарий — распознавание объектов и категорий из ImageNet-1k. Лицензия Apache-2.0. Карточка не описывает поддержку дополнительных наборов классов или специализированных областей.

XCiT-Tiny/12 P8 224 с дистилляцией на ImageNet-1k — модель классификации изображений и визуальный backbone семейства Cross-Covariance Image Transformer. Модель разработана авторами исследования XCiT и содержит 6,7 млн параметров; её обучали на ImageNet-1k с использованием дистилляции. Входной размер изображения — 224 × 224. Модель подходит для классификации изображений и получения визуальных признаковых представлений, например, как backbone в компьютерном зрении. Репозиторий использует библиотеку timm и содержит веса PyTorch в формате Safetensors. Лицензия — Apache-2.0. Карточка не описывает ограничения применения или известные слабые стороны модели.

apple/aimv2-3B-patch14-448 — визуальная модель семейства AIMv2 от Apple, предварительно обученная с мультимодальной авторегрессионной целевой функцией. Вариант содержит около 2,7 млрд параметров и предназначен для извлечения признаков из изображений; карточка показывает загрузку через Transformers и обработку изображений с помощью AutoImageProcessor. Репозиторий включает веса Flax и safetensors. По данным карточки, AIMv2 превосходит CLIP и SigLIP на большинстве бенчмарков мультимодального понимания, а также DINOv2 в обнаружении объектов с открытым словарём и понимании выражений, указывающих на объекты. AIMv2-3B достигает 89,5% на ImageNet при замороженном визуальном энкодере. Лицензия — Apple AMLR.

AIMv2 Large Patch14 336 — модель компьютерного зрения семейства AIMv2, разработанная Apple и предварительно обученная с мультимодальной авторегрессионной целью. Репозиторий содержит вариант с архитектурой Aimv2VisionModel и примерно 308,3 млн параметров; имя модели указывает на патч 14 и входное разрешение 336 пикселей. Модель принимает изображения и извлекает визуальные признаки, которые можно использовать в системах понимания изображений и последующих задачах компьютерного зрения. В README семейство AIMv2 описано как сильное на тестах мультимодального понимания, открытого обнаружения объектов и понимания ссылочных выражений; эти результаты относятся к семейству в целом и не гарантируют такие показатели для данного варианта. Для загрузки указаны Transformers и варианты весов Flax и safetensors. Модель предназначена для извлечения признаков изображений, а не для генерации текстовых описаний или ответов. Лицензия репозитория — apple-amlr.

Модель densenet161.imagenet содержит предобученные на ImageNet веса DenseNet-161, предназначенные для использования в качестве энкодера в библиотеке segmentation-models-pytorch. Репозиторий предоставляет веса в формате safetensors; модель поддерживает классификацию изображений. Её можно применять для классификации изображений и как энкодер в задачах компьютерного зрения, включая сегментацию с помощью segmentation-models-pytorch. Карточка не сообщает размер модели, точность, поддерживаемые языки или дополнительные ограничения. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.

Это веса DenseNet-201, обученные на ImageNet и предназначенные для использования в качестве энкодера в библиотеке segmentation-models-pytorch. Репозиторий содержит веса модели в формате safetensors; метаданные Hugging Face указывают задачу классификации изображений и библиотеку PyTorch.

Это предобученные на ImageNet веса EfficientNet-B0, опубликованные для использования в качестве энкодера в библиотеке segmentation-models-pytorch. Модель также подходит для классификации изображений, что соответствует задаче image-classification в метаданных Hugging Face. EfficientNet-B0 принимает изображения и выдаёт оценки классов. В карточке указано применение как энкодера для задач сегментации, однако сам репозиторий содержит веса классификационной модели. Карточка не сообщает размер параметров, поддерживаемые языки или отдельные ограничения качества. Лицензия обозначена как other, поэтому перед использованием следует проверить условия исходной лицензии.

EfficientNet-EdgeTPU — сверточная модель классификации изображений из семейства EfficientNet, опубликованная в библиотеке timm. Версия efficientnet_es_pruned.in1k получена разрежением весов исходной модели методом knapsack pruning и обучена для классификации ImageNet-1k. В модели около 5,4 млн параметров; для входного изображения указано разрешение 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. Архитектура EdgeTPU и уменьшенный размер делают её подходящей для задач компьютерного зрения с ограниченными ресурсами. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0. Ограничение: карточка описывает обучение на ImageNet-1k, поэтому качество на других наборах данных и задачах отдельно не подтверждено.

timm/efficientnet_es.ra_in1k — сверточная модель классификации изображений семейства EfficientNet-EdgeTPU, представленная в библиотеке timm. Она обучена на ImageNet-1k с рецептом RandAugment, оптимизатором RMSProp с поведением TensorFlow 1.0, усреднением весов EMA и ступенчатым расписанием скорости обучения с разогревом. Модель содержит 5,4 млн параметров, требует изображения размером 224 × 224 и имеет вычислительную сложность 1,8 GMACs. Модель предназначена для отнесения изображений к классам ImageNet-1k, а также может использоваться как основа для извлечения признаковых карт и эмбеддингов изображений. Компактный размер и архитектура EfficientNet-EdgeTPU делают её применимой в сценариях классификации с ограниченными вычислительными ресурсами. Репозиторий содержит веса PyTorch и safetensors; использовать модель можно на условиях лицензии Apache-2.0. Оценка качества и поддержка иных наборов классов в карточке не описаны.

EfficientViT-B0 — компактная модель классификации изображений семейства EfficientViT, разработанная авторами исследования и обученная на ImageNet-1k. Вариант r224 рассчитан на изображения размером 224 × 224 пикселя; в модели около 3,4 млн параметров и 0,1 GMACs вычислений на изображение. Модель предназначена для классификации изображений по категориям ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и векторных представлений изображений. Небольшой размер и низкая вычислительная стоимость подходят для сценариев, где важны скорость и ограниченные ресурсы. Модель принимает изображения и выдаёт метки классов или признаки в зависимости от способа использования. Репозиторий содержит веса в форматах PyTorch и safetensors; для работы заявлена библиотека timm. Лицензия Apache-2.0.

EfficientViT-M0 — компактная модель классификации изображений из семейства EfficientViT, разработанного MSRA; чекпойнт обучен авторами статьи на ImageNet-1k. Модель также можно использовать как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. В модели около 2,3 млн параметров; она рассчитана на изображения размером 224 × 224 пикселя и требует около 0,1 GMAC на проход. Компактность делает её подходящей для классификации изображений и извлечения признаков при ограниченных вычислительных ресурсах. В README не приведены сведения о метриках качества. Лицензия — MIT.

fastvitmci3.applemclip2dfndr2b — модель семейства MobileCLIP v2 для библиотеки timm, содержащая только визуальный энкодер. Она предназначена для извлечения признаков из изображений и может использоваться как компонент систем поиска по изображениям и сопоставления визуального содержимого с текстом. Модель обучена на наборе данных DFNDR-2B; карточка связывает её с работой MobileCLIP2: Improving Multi-Modal Reinforced Training. Репозиторий распространяет веса в форматах PyTorch и Safetensors. Указана лицензия apple-amlr. Карточка описывает только image tower, поэтому текстовый энкодер и возможности полной мультимодальной модели в эту поставку не входят.

Это модифицированная версия Florence-2-large от Microsoft, опубликованная multimodalart для работы без зависимости flash-attn: специализированные методы внимания заменены стандартным attention, что может снизить производительность. Модель использует плотную seq2seq-архитектуру Florence-2 и содержит около 0,77 млрд параметров; веса представлены в формате PyTorch и обучены в float16. Лицензия — MIT. Модель принимает изображение и текстовую инструкцию-промпт, а затем генерирует текстовые описания и ответы либо структурированные результаты с координатами и метками. По промпту выполняет описание изображений, обнаружение объектов, выделение областей и их привязку к фразам, генерацию предложений областей и OCR, включая распознавание текста с координатами. Карточка описывает широкий набор зрительных и визуально-языковых задач, но не указывает языки, на которых гарантируется качество распознавания и генерации.

HardCoReNAS — модель классификации изображений и извлечения признаков из семейства нейросетевых архитектур, опубликованная авторами исследования HardCoRe-NAS и обученная на ImageNet-1k с их «green» рецептом. В репозитории timm/hardcorenas_f.miil_green_in1k доступны веса PyTorch и SafeTensors; модель содержит около 8,2 млн параметров, требует изображение размером 224 × 224 и имеет вычислительную сложность около 0,4 GMAC. Модель предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Её можно использовать как компактную визуальную основу в приложениях компьютерного зрения или как начальную модель для дальнейшей разработки. Она обучена на ImageNet-1k; лицензия репозитория — Apache-2.0. Карточка не сообщает результатов на других наборах данных и ограничений по применению.

InternVL-U — унифицированная мультимодальная модель на 4 млрд параметров от Shanghai AI Laboratory и команды InternVL-U. Она объединяет понимание и рассуждение по мультимодальным данным с генерацией и редактированием изображений в одной модели. Модель представлена в исследовательской статье InternVL-U и распространяется в форматах Diffusers и Safetensors. InternVL-U подходит для мультимодальных диалогов и анализа, ответов на вопросы по изображениям, генерации изображений по текстовому запросу и редактирования изображений. В доступных сведениях не указаны поддерживаемые языки, длина контекста и лицензия; поэтому условия коммерческого и иного использования следует сверять с карточкой проекта и лицензией репозитория.

JoyTag — модель компьютерного зрения, опубликованная fancyfeast и основанная на разработке fpgaminer, для автоматического многометочного тегирования изображений. Она прогнозирует более 5000 тегов в схеме Danbooru, причем каждый тег классифицируется независимо, поэтому модель может одновременно описывать несколько объектов, характеристик и визуальных признаков изображения. Модель построена на архитектуре ViT-B/16 с CNN-стемом и GAP-головой, принимает изображения размером 448×448 и содержит около 91,5 млн параметров. Она ориентирована на изображения от рисованных до фотографических и особенно полезна для подготовки датасетов, поиска и организации изображений, а также автоматического добавления тегов к изображениям для обучения моделей генерации. В репозитории доступны форматы Safetensors и ONNX, библиотека Transformers и pipeline image-classification. Модель выпущена под лицензией Apache-2.0. Ее точность зависит от порога классификации и распределения данных; исходный обучающий набор Danbooru ограничивает разнообразие и может усиливать смещение в сторону аниме и манга-контента. Это классификатор тегов, а не модель генерации изображений, описания естественным языком или распознавания текста.

LeVJEPA-VideoMix-Large — видеокодировщик Galilai Group на архитектуре ViT-L/16, обученный по самообучаемой цели LeV-JEPA без использования меток. Модель содержит 303,1 млн параметров и принимает клипы из 16 RGB-кадров размером 224 пикселя; для извлечения признаков из одного изображения его повторяют вдоль временной оси. Кодировщик использует позиционное кодирование RoPE и блочно-каузальное внимание, а опубликованные веса — EMA-копия энкодера. Модель предназначена для извлечения признаков видео и изображений, линейного и внимательного зондирования, поиска похожих материалов и использования в качестве основы для последующих моделей. Обучение проведено на 1 806 869 клипах из Kinetics-710, Something-Something v2, Walking Tours и PE-Video; видеокадры при обучении выбирались примерно с частотой 7,5 кадра в секунду. В модели нет классификационной головы, поэтому для классификации требуется отдельная голова или последующая обработка признаков. Для корректных признаков следует сохранять режим внимания block-causal: использование полного внимания может ухудшить результаты. Явная маска внимания увеличивает расход памяти относительно ViT-L с полным вниманием. Библиотека Transformers; лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

LLMDet base — модель обнаружения объектов с открытым словарём, разработанная Shenghao Fu и соавторами. Она построена на MM Grounding DINO и Grounding DINO и улучшает их совместным обучением под надзором большой языковой модели. Опубликованный чекпойнт предназначен только для инференса; языковая модель, использованная при обучении, в него не входит, а инференс выполняется так же, как у MM Grounding DINO. Модель подходит для обнаружения объектов по текстовым запросам без фиксированного набора классов. Обучение проводилось на Objects365v1, GOLD-G, V3Det и GroundingCap-1M. В приведённых авторами результатах на LVIS вариант base показывает AP 54,3 на MiniVal и 47,8 на Val1.0. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

Карточка модели Rqwannn/locate-anything на Hugging Face совпадает с карточкой nvidia/LocateAnything-3B, поэтому описание составлено по ней. LocateAnything-3B — разработанная NVIDIA в рамках семейства Eagle vision-language модель для визуальной локализации по изображениям и текстовым запросам. Она предназначена для разработчиков и исследователей, которым нужны обнаружение объектов, поиск областей по описанию и другие задачи пространственного понимания в приложениях Enterprise Intelligence и Physical AI. Модель основана на трансформерной VLM с визуальным энкодером MoonViT, языковой частью Qwen2.5-3B-Instruct и MLP-проектором; содержит около 3 млрд параметров. Принимает RGB-изображения исходного разрешения до 2,5K и текстовые запросы; заявлена поддержка промптов до 24K токенов. Модель выполняет поиск одного или нескольких объектов, плотное обнаружение в сложных сценах, привязку выражений к областям, локализацию элементов GUI и текста, а также выдаёт рамки и точки. Механизм Parallel Box Decoding предсказывает координаты блоками параллельно, что, по данным карточки, обеспечивает до 2,5 раза более высокую пропускную способность по сравнению с предшествующими подходами. Обучение охватывает природные сцены, робототехнику, вождение, GUI и документы; заявленный масштаб обучающих данных — 12 млн изображений и более 138 млн запросов. Карточка позиционирует релиз для исследований и разработки. Лицензия указана как other, поэтому конкретные права использования следует сверять с условиями репозитория.

MambaOut Base Tall RW — модель компьютерного зрения для классификации изображений и извлечения признаков, реализованная Ross Wightman в библиотеке timm. Она обучена на ImageNet-1k по рецепту обучения на основе Swin и ConvNeXt и содержит 86,5 млн параметров. Для обучения использовались изображения размером 224 × 224, для оценки — 288 × 288; доступны сценарии извлечения карт признаков и эмбеддингов изображений. Модель предназначена для отнесения изображений к классам ImageNet-1k и может служить визуальной основой для систем, которым нужны признаки или векторы изображений. Репозиторий распространяет веса в форматах PyTorch и safetensors по лицензии Apache-2.0. Карточка приводит результаты Top-1 для других вариантов MambaOut, но не указывает отдельную оценку качества именно этой модели.

Репозиторий smp-hub/mit_b0.imagenet содержит предварительно обученные на ImageNet веса модели mit_b0, предназначенной для использования в качестве энкодера в библиотеке segmentation-models-pytorch. Модель можно применять как визуальный экстрактор признаков и основу для задач компьютерного зрения, включая классификацию изображений и сегментацию при интеграции в соответствующие модели библиотеки. В метаданных указана задача image-classification, библиотека segmentation-models-pytorch и формат весов safetensors. Лицензия обозначена как other; конкретные условия использования по имеющимся сведениям определить нельзя.

mixer_b16_224.miil_in21k — модель классификации изображений и извлечения визуальных признаков, разработанная Alibaba-MIIL и обученная на ImageNet-21k. Она использует архитектуру MLP-Mixer, в которой обработка изображения строится на многослойных перцептронах без свёрточной основы. Модель содержит 67,7 млн параметров и рассчитана на изображения размером 224 × 224 пикселя; вычислительная сложность указана как 12,6 GMACs. Модель подходит для классификации изображений по категориям ImageNet-21k и получения эмбеддингов изображений как основы для последующих задач компьютерного зрения. Репозиторий содержит веса PyTorch и Safetensors; для использования указана лицензия Apache-2.0. Карточка не приводит сведений о поддержке текстовых или иных модальностей.

MM Grounding DINO — модель обнаружения объектов с открытым словарём, разработанная авторами работы «An Open and Comprehensive Pipeline for Unified Object Grounding and Detection». Эта базовая версия обучена на Objects365v1, GOLD-G и V3Det и предназначена для поиска объектов на изображениях по текстовым запросам, в том числе по категориям, не заданным фиксированным набором меток. Модель развивает Grounding DINO: в ней улучшена контрастивная классификационная голова и устранено совместное использование параметров декодером. По данным авторов, улучшения повышают качество обнаружения без обучения на целевых категориях; для семейства приведены результаты на COCO и LVIS. Репозиторий содержит веса safetensors для библиотеки Transformers. Модель принимает изображение и текстовое описание искомых объектов и возвращает рамки объектов с оценками соответствия. Лицензия Apache-2.0. Карточка не приводит ограничений по применению; качество зависит от формулировок запросов и распределения объектов в изображениях.

mobilenetv2_100.ra_in1k — сверточная модель MobileNetV2 для классификации изображений, представленная библиотекой timm. Она обучена на ImageNet-1k с рецептом RandAugment, оптимизатором RMSProp с поведением TensorFlow 1.0, усреднением весов EMA и ступенчатым экспоненциальным снижением скорости обучения с разогревом. Модель содержит около 3,5 млн параметров, рассчитана на изображения размером 224 × 224 и требует около 0,3 GMAC на изображение. Модель подходит для классификации изображений и может использоваться как компактная основа для извлечения признаков, карт признаков и эмбеддингов изображений. Она ориентирована на распознавание классов ImageNet-1k и может быть полезна в приложениях компьютерного зрения с ограниченными вычислительными ресурсами. Репозиторий предоставляет веса в форматах PyTorch и safetensors; для работы используется timm. Лицензия — Apache-2.0. Качество модели связано с обучением на ImageNet-1k, поэтому её классы и поведение могут не соответствовать специализированным предметным областям без дополнительной адаптации. В карточке не приведены метрики точности или сведения о поддержке иных разрешений.

SpotLab/MobileViT_DeepLabv3 — компактная модель семантической сегментации изображений на основе MobileViT-XX-Small и головы DeepLabV3. Архитектура MobileViT сочетает свёрточные блоки в стиле MobileNetV2 с Transformer-блоками для глобальной обработки патчей; модель предназначена для сегментации объектов на изображениях и рассчитана на мобильное применение с низкой задержкой. Модель обучена на ImageNet-1k, затем дообучена на PASCAL VOC2012. Для оценки на PASCAL VOC указана метрика mIoU 73,6 при 1,9 млн параметров. На вход подаются изображения с центральной обрезкой до 512×512 и пикселями в порядке BGR, нормализованными в диапазон [0, 1]. Репозиторий содержит варианты в форматах PyTorch, TensorFlow, TFLite и Core ML. Указана лицензия Apple Sample Code License.

OmDet-Turbo Swin-Tiny — модель обнаружения объектов с открытым словарём, разработанная Om AI Lab и описанная в работе Tiancheng Zhao, Peng Liu, Xuan He, Lu Zhang и Kyusong Lee «Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head». Она предназначена для zero-shot-обнаружения объектов на изображениях по текстовым запросам и категориям, в том числе с разными наборами текстовых классов для изображений в одном пакете. Модель использует архитектуру OmDet-Turbo и представлена в формате safetensors. Она принимает изображения и текстовые запросы, а выдаёт обнаруженные объекты с соответствующими метками и рамками. Репозиторий распространяется по лицензии Apache-2.0.

Perception Encoder PE-Core-G14-448 — визуальный энкодер Meta из семейства PE, обученный на изображениях с помощью контрастивного vision-language обучения и дообученный на синтетически выровненных видеоданных. Модель содержит визуальную башню G/14 с разрешением 448 пикселей; для глобального представления использует блок attention pooling с 8 головами. Число параметров и длина текстового контекста именно этого чекпойнта в предоставленных данных не указаны. Модель предназначена для классификации изображений по текстовым описаниям без специального обучения на целевых классах, а также для получения визуальных представлений, поиска и переноса признаков в downstream-задачи. В карточке отмечены результаты на наборах ImageNet, ObjectNet и ImageNet-A, а также на задачах поиска и классификации видео. Репозиторий предоставляет веса PyTorch. Лицензия — Apache-2.0.

Perception Encoder PE-Core-L14-336 — модель Meta для визуального понимания, обученная с помощью контрастивного обучения изображений и текста и дообученная на синтетически согласованных видео. Это вариант размера L: визуальный энкодер с архитектурой ViT-L/14 содержит 0,32 млрд параметров и обрабатывает изображения с разрешением 336 пикселей. Для извлечения глобальных признаков используются attention pooling и class token. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений и видео по тексту, а также извлечения визуальных признаков для последующих задач. В README указаны результаты на наборах ImageNet, ObjectNet и Kinetics-400; версия L/14 показывает сильные результаты, в том числе на сложных наборах ObjectNet и ImageNet-A. Репозиторий содержит веса PyTorch и код загрузки через библиотеку perception-encoder. Лицензия — Apache-2.0. README описывает семейство PE Core как включающее визуальную и текстовую башни, но таблица именно для L/14 приводит характеристики только визуальной башни; отдельные размер и длина контекста текстовой части этого чекпойнта не установлены приведёнными данными. Для работы с видео требуется декодирование в тензоры PyTorch.

PP-OCRv3_mobile_det — мобильная модель обнаружения текста из семейства PP-OCRv3_det, разработанная командой PaddleOCR. Она находит текстовые области на изображениях и предназначена для эффективного запуска, в том числе на периферийных устройствах. В составе конвейера PP-OCR обнаружение текста сочетается с распознаванием строк и, при необходимости, модулями коррекции ориентации и геометрии изображений. Модель принимает изображение и решает задачу обнаружения текста; сама по себе она не выполняет распознавание найденных строк в текст. В карточке заявлена поддержка английского и китайского языков. Репозиторий использует PaddleOCR; лицензия — Apache-2.0.