I.8Изображения и компьютерное зрение

LeViT Conv 256 — модель классификации изображений из семейства LeViT, опубликованная в репозитории timm. Она основана на архитектуре Vision Transformer, описанной в работе «LeViT: a Vision Transformer in ConvNet's Clothing for Faster Inference», и обучена авторами статьи на ImageNet-1k с дистилляцией. Модель содержит около 18,9 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для присвоения изображению метки класса, получения эмбеддингов изображений и извлечения карт признаков. В README для варианта LeViT 256 приводится точность top-1 81,512% и top-5 95,48% на ImageNet. Репозиторий содержит веса в форматах PyTorch и safetensors; лицензия — Apache-2.0.

MobileViT-v2 — модель классификации изображений и визуальный backbone из библиотеки timm. Согласно карточке модели, авторы статьи предварительно обучили её на ImageNet-22k, а затем дообучили на ImageNet-1k. Модель содержит 18,4 млн параметров, обрабатывает изображения размером 384 × 384 и основана на архитектуре Mobile Vision Transformer с separable self-attention. Модель предназначена для классификации изображений, извлечения карт признаков и получения векторных представлений изображений. Её можно применять как backbone в компьютерном зрении и для классификации объектов на изображениях. Карточка указывает лицензию other, но конкретные условия лицензии в предоставленных данных не раскрыты.

Это веса визуального энкодера SigLIP-2 B/16 NaFlex ViT, опубликованные командой timm для библиотеки timm. Модель предназначена для извлечения признаков изображений и их последующего использования в задачах компьютерного зрения.

nest_tiny_jx.goog_in1k — модель классификации изображений семейства NesT, обученная авторами статьи на ImageNet-1k с использованием JAX и перенесённая в PyTorch Александром Соаре. Она также может служить визуальным backbone для извлечения карт признаков и эмбеддингов изображений. Модель содержит 17,1 млн параметров, требует изображение размером 224 × 224 пикселя и имеет вычислительную сложность 5,8 GMACs. Модель подходит для классификации объектов на изображениях, а также для получения признаков и эмбеддингов в компьютерном зрении. Веса доступны в форматах PyTorch и safetensors; библиотека для работы — timm. Лицензия — Apache-2.0.

zeromodels выпустила конверсию OWLv2-base-patch16-finetuned в формате Keras 3 для библиотеки zeromodels. Это модель обнаружения объектов с открытым словарём: при обработке изображения она использует текстовые запросы и возвращает найденные объекты и их рамки. Архитектура сохраняет двухбашенный каркас OWL-ViT и голову обнаружения по патчам; OWLv2 также применяет обучение на парах изображений и текста из интернета и использует отдельную оценку объектности для патчей. Реализация работает с TensorFlow, Torch и JAX. Модель подходит для поиска объектов по произвольным текстовым описаниям, включая категории, не заданные фиксированным набором классов. Для обработки рекомендуется использовать соответствующий Processor и передавать исходные размеры изображения с учётом дополнения изображения до квадрата перед изменением размера: это влияет на постобработку координат рамок. Лицензия — Apache 2.0.

RegNetX-800MF — модель классификации изображений и извлечения признаков семейства RegNetX, представленная в библиотеке timm. Веса regnetx_008.tv2_in1k предварительно обучены на ImageNet-1k участниками проекта torchvision; реализация timm включает стохастическую глубину и настраиваемые параметры архитектуры. Модель предназначена для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов. В карточке указаны 7,3 млн параметров, вычислительная сложность 0,8 GMAC и стандартный размер изображения 224 × 224 пикселя. Репозиторий содержит веса PyTorch и safetensors. Лицензия — BSD 3-Clause. Модель обучена на ImageNet-1k, поэтому её качество и применимость зависят от сходства целевых изображений с этим набором данных; специальных ограничений в карточке не описано.

RegNetX-4GF — модель классификации изображений из семейства RegNetX, представленная авторами статьи Designing Network Design Spaces и доступная в библиотеке timm. Она предварительно обучена на ImageNet-1k и содержит 22,1 млн параметров; для классификации использует изображения размером 224 × 224 пикселя. Модель также можно использовать как основу для извлечения признаковых карт и эмбеддингов изображений. Модель предназначена для присвоения изображениям меток классов из набора ImageNet-1k и для получения визуальных признаков в компьютерном зрении. Реализация timm включает стохастическую глубину, градиентный чекпойнтинг и настраиваемые слои активации и нормализации. Репозиторий распространяется по лицензии MIT.

RegNetY-1.6GF — модель компьютерного зрения для классификации изображений и извлечения признаков. Её веса предварительно обучены на ImageNet-1k участниками проекта torchvision; реализация архитектуры RegNetY предоставлена библиотекой timm. Модель содержит 11,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для определения объектов и сцен на изображениях из набора ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Реализация timm поддерживает стохастическую глубину, градиентный чекпоинтинг, настройку шага и варианты слоёв активации и нормализации. В метаданных указана лицензия BSD-3-Clause.

RegNetY-6.4GF — модель классификации изображений и извлечения признаков, обученная Россом Уайтманом в библиотеке timm на ImageNet-1k. Архитектура RegNetY содержит около 30,6 млн параметров и требует 6,4 GMACs на проход. Для обучения использовались изображения размером 224 × 224, для оценки — 288 × 288 пикселей. Модель подходит для классификации изображений по категориям ImageNet, извлечения карт признаков и получения эмбеддингов изображений. Реализация timm поддерживает, среди прочего, stochastic depth, градиентный чекпойнтинг, настройку выходного stride и слоевой спад скорости обучения. Доступна в форматах PyTorch и SafeTensors; для использования нужны входные изображения. Модель выпущена под лицензией Apache-2.0. Обучение на ImageNet-1k определяет набор классов, на которых она оптимизирована, поэтому качество на других предметных областях может отличаться.

RegNetY-8GF — модель классификации изображений из библиотеки timm, обученная Россом Уайтманом на ImageNet-1k. Она также подходит как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Модель содержит 39,2 млн параметров и требует около 8 GMACs на изображение. В обучении использовался размер изображения 224 × 224, при тестировании — 288 × 288. Реализация timm включает стохастическую глубину и настраиваемые параметры архитектуры, включая шаг выходных признаков и слои активации и нормализации. Модель предназначена для распознавания объектов из набора классов ImageNet-1k и как основа для компьютерного зрения. Карточка не сообщает отдельные языковые или прикладные ограничения. Лицензия — Apache-2.0.

regnety_320.tv2_in1k — модель классификации изображений на базе архитектуры RegNetY-32GF, распространяемая в библиотеке timm. Её веса предварительно обучены на ImageNet-1k участниками проекта torchvision. Модель насчитывает около 145 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для определения категорий объектов на изображениях и может использоваться как визуальный backbone для извлечения признаковых карт или эмбеддингов. Реализация timm включает стохастическую глубину, градиентный чекпойнтинг, настройку шага выхода и другие варианты конфигурации блоков и слоёв. Лицензия — BSD-3-Clause. Высокая вычислительная стоимость (32,3 GMACs на изображение) может ограничивать применение на устройствах с небольшими ресурсами. Обучение на ImageNet-1k означает, что модель ориентирована на категории этого набора данных; карточка не описывает поддержку других языков или специальных предметных областей.

repvgg_d2se — свёрточная модель классификации изображений, обученная авторами статьи на ImageNet-1k и опубликованная в коллекции timm. Она реализована на базе гибкой архитектуры BYOBNet и может использоваться как классификатор или визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 133,3 млн параметров, рассчитана на изображения размером 320 × 320 и имеет вычислительную стоимость 74,6 GMACs. Модель подходит для распознавания объектов и категорий на изображениях, а также для получения визуальных признаков в последующих задачах компьютерного зрения. Репозиторий предоставляет веса в форматах PyTorch и safetensors; лицензия — MIT. Данных о специальных ограничениях применения в карточке нет.

res2net101d.in1k — модель классификации изображений и извлечения визуальных признаков на архитектуре Res2Net, разработанной авторами статьи Res2Net: A New Multi-scale Backbone Architecture и обученной на ImageNet-1k. Модель содержит 45,2 млн параметров; для классификации использует изображения размером 224 × 224. Её многомасштабная архитектура подходит также для извлечения карт признаков и эмбеддингов изображений. Модель предназначена для классификации изображений по категориям ImageNet-1k и может служить визуальным backbone для компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors; для работы предусмотрена библиотека timm. Лицензия в метаданных Hugging Face обозначена как неизвестная.

ResNet18.a2_in1k — сверточная модель классификации изображений из библиотеки timm, разработанная командой timm. Это ResNet с активациями ReLU, начальной свёрткой 7×7 и пулингом, а также shortcut-свёртками 1×1 для изменения размерности. Модель содержит 11,7 млн параметров и обучена на ImageNet-1k по рецепту ResNet Strikes Back A2 с оптимизатором LAMB, функцией потерь BCE и косинусным расписанием скорости обучения с разогревом. Модель предназначена для классификации изображений на набор классов ImageNet-1k, а также может использоваться как основа для извлечения карт признаков и эмбеддингов изображений. Размер изображения при обучении — 224×224, при тестировании — 288×288. Доступны веса PyTorch и Safetensors. Лицензия — Apache-2.0. Модель рассчитана на изображения общего назначения; её классификация ограничена классами, на которых она обучена, и качество может снижаться на данных, отличающихся от ImageNet-1k.

ResNet26t.ra2_in1k — свёрточная модель классификации изображений из семейства ResNet-T, опубликованная в библиотеке timm. Она обучена на ImageNet-1k по рецепту RandAugment RA2 с оптимизатором RMSProp, усреднением весов EMA и ступенчатым расписанием скорости обучения с разогревом. Архитектура использует ReLU, трёхслойный начальный блок из свёрток 3×3 с пулингом и усредняющие короткие соединения с проекцией 1×1. Модель предназначена для классификации изображений и может использоваться как основа для извлечения признаковых карт и эмбеддингов. Она содержит около 16 млн параметров и требует примерно 3,4 GMACs на изображение; размер входа при тестировании — 320×320 пикселей. Доступны веса PyTorch и safetensors. Лицензия Apache-2.0.

timm/resnet34.tv_in1k — модель классификации изображений семейства ResNet, представленная библиотекой timm. Это оригинальные веса torchvision, обученные на ImageNet-1k; модель также подходит как сверточная основа для извлечения признаков и эмбеддингов изображений. Архитектура использует ReLU, начальную свёртку 7×7 с пулингом и обходные соединения с проекцией 1×1. В модели 21,8 млн параметров; указан стандартный размер изображения 224×224. Модель предназначена для отнесения изображений к классам ImageNet и может использоваться как основа компьютерного зрения или для получения признаковых карт и эмбеддингов. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — BSD 3-Clause.

ResNetV2-152x2 BiT — сверточная модель классификации изображений из библиотеки timm. Авторы статьи Big Transfer предварительно обучили её на ImageNet-21k и дообучили на ImageNet-1k. Модель насчитывает 236,3 млн параметров и рассчитана на изображения размером 448 × 448 пикселей. Архитектура основана на ResNet-V2 с предварительной активацией и использует Group Normalization вместе с Weight Standardization вместо Batch Normalization. Помимо классификации, модель можно применять как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Модель подходит для классификации изображений в наборе классов ImageNet-1k и построения визуальных признаков. Веса распространяются в форматах PyTorch и Safetensors; для использования указана лицензия Apache-2.0.

ResNet-V2-BiT 50x3 — сверточная модель классификации изображений семейства Big Transfer, опубликованная авторами соответствующей работы и обученная на ImageNet-21k. Вариант содержит около 345,4 млн параметров; для классификации использует изображения размером 224 × 224. Вместо Batch Normalization применяются Group Normalization и Weight Standardization. Модель подходит для классификации изображений и как визуальный backbone для извлечения карт признаков и эмбеддингов. Её можно использовать как основу для переноса визуальных представлений на прикладные задачи. Репозиторий предоставляет веса в форматах PyTorch и Safetensors для библиотеки timm. Лицензия — Apache-2.0.

ResNeXt-50 32x4d — сверточная модель классификации изображений и извлечения признаков из семейства ResNeXt, представленная авторами библиотеки timm. Она предварительно обучена на хэштегах Instagram-1B методом полу-слабого обучения с учителем, а затем дообучена на ImageNet-1k. Архитектура использует остаточные блоки с групповыми свёртками 3×3, свёртками 1×1 и активациями ReLU; модель содержит около 25 млн параметров и рассчитана на изображения размером 224×224. Модель подходит для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Указанная лицензия CC BY-NC 4.0 ограничивает коммерческое использование; перед применением следует соблюдать её условия.

LibreYOLO/SenseNovaVision7b — зеркало весов SenseNova-Vision-7B-MoT от SenseTime для интеграции в уровень LibreVLM библиотеки LibreYOLO. Это единая мультимодальная модель компьютерного зрения на архитектуре Bagel-MoT: декодер Qwen2.5-7B MoT, визуальный модуль SigLIP и автоэнкодер FLUX. Один чекпойнт поддерживает обнаружение объектов, поиск точек и ключевых точек, OCR, оценку глубины, сегментацию и паноптическую сегментацию. Символьные результаты, например рамки, точки и распознанные слова, выдаются как структурированный текст; карты глубины и маски — как изображения, декодированные VAE. Модель можно использовать для анализа изображений через чат-интерфейс и генерацию. Веса и конфигурации в репозитории не изменены относительно исходной модели SenseTime; добавлены только карточка и уведомление. Лицензия весов CC BY-NC 4.0 разрешает некоммерческое использование. Для загрузки в LibreYOLO предусмотрено восстановление раскладки специальных токенов; другим средствам запуска может потребоваться такая же настройка или медленный токенизатор на основе vocab.json и merges.txt.

swinv2_cr_tiny_ns_224.sw_in1k — модель классификации изображений и извлечения признаков на основе Swin Transformer V2. Это независимая реализация, выпущенная до публикации официального кода; её разработали Christoph Reich и Ross Wightman, а предобучение на ImageNet-1k выполнил Ross Wightman. Модель содержит 28,3 млн параметров, рассчитана на изображения размером 224 × 224 и реализована с использованием библиотеки timm. Её можно применять для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов. По сравнению с официальной реализацией Swin Transformer V2 в ней иначе рассчитывается относительное смещение позиций, предусмотрена нормализация в конце каждого этапа для вариантов «ns», а выходные признаки представлены в формате NCHW. Модель принимает изображения и выдаёт метки классов при классификации; промежуточные признаки и эмбеддинги доступны при использовании как визуального backbone. В карточке указана лицензия Apache-2.0. Она предобучена на ImageNet-1k, поэтому её назначение — задачи общего распознавания изображений, а качество на других наборах данных может потребовать дополнительной настройки.

SwinV2 Large — модель классификации изображений и извлечения признаков из семейства Swin Transformer V2. Её разработали авторы работы Swin Transformer V2 и предварительно обучили на ImageNet-22k. Модель содержит около 228,8 млн параметров и рассчитана на изображения размером 192 × 192 пикселя. Модель подходит для классификации изображений, извлечения карт признаков и получения векторных представлений изображений. Её можно использовать как основу для визуального поиска, кластеризации изображений и построения прикладных систем компьютерного зрения. Репозиторий распространяет веса в форматах PyTorch и safetensors; библиотека для работы с моделью — timm. Лицензия — MIT. Крупный размер модели и вычислительная стоимость могут затруднять запуск на ограниченном оборудовании.

tf_efficientnet_b4.ns_jft_in1k — сверточная модель EfficientNet-B4 для классификации изображений и извлечения визуальных признаков. Исходную модель обучили авторы статей на ImageNet-1k и неразмеченных данных JFT-300M методом полуобучения Noisy Student; Ross Wightman перенёс её веса в PyTorch. Модель распространяется через timm и доступна в форматах PyTorch и safetensors. Модель содержит около 19,3 млн параметров, требует изображение размером 380 × 380 пикселей и имеет вычислительную сложность около 4,5 GMACs. Её можно использовать для предсказания классов ImageNet-1k, получения карт признаков и визуальных эмбеддингов. Карточка не описывает поддержку текстового ввода или генерацию изображений. Лицензия — Apache-2.0.

timm/tf_efficientnetv2_xl.in21k — сверточная модель семейства EfficientNetV2 для классификации изображений и извлечения признаков. Её обучили авторы статьи на ImageNet-21k в TensorFlow, затем Ross Wightman перенёс веса в PyTorch; модель доступна через библиотеку timm. Модель содержит около 234,8 млн параметров. Указанный размер изображения при обучении — 384 × 384 пикселя, при тестировании — 512 × 512. Её можно применять для классификации изображений, извлечения карт признаков и получения векторных представлений изображений. Модель предназначена для задач компьютерного зрения общего назначения; языковой ввод и генерация текста не поддерживаются. Лицензия — Apache-2.0.

Это модель Vision Transformer (ViT) для классификации изображений и извлечения признаков. Вариант с патчами 16 × 16 и входным разрешением 384 × 384 содержит 86,9 млн параметров. Модель обучена авторами статьи на ImageNet-21k, дообучена на ImageNet-1k в JAX и перенесена в PyTorch Россом Уайтманом; репозиторий использует библиотеку timm и содержит веса PyTorch и Safetensors. Модель подходит для определения объектов и категорий на изображениях, а также для получения векторных представлений изображений. Обучение на ImageNet делает её применимой как общий классификатор изображений и backbone для компьютерного зрения. Лицензия репозитория — Apache-2.0. Качество может снижаться на изображениях и категориях, отличающихся от обучающих наборов ImageNet; входное разрешение модели — 384 × 384.

Модель timm/vit_base_patch16_clip_224.laion2b_ft_in12k — визуальный энкодер на основе Vision Transformer (ViT), разработанный для классификации изображений и извлечения признаков. Она предварительно обучена с помощью OpenCLIP на парах изображение–текст из LAION-2B, затем дообучена в timm на ImageNet-12k. Модель содержит 94,9 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Её можно использовать для присвоения изображениям классов и получения визуальных эмбеддингов для дальнейшей обработки. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.

Это модель компьютерного зрения на основе Vision Transformer (ViT), опубликованная в библиотеке timm. Она предварительно обучена OpenAI на парах изображений и текстов WIT-400M с помощью CLIP, затем дообучена на ImageNet-12k и ImageNet-1k. Модель содержит 86,9 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения признаков и получения эмбеддингов изображений. Такое представление подходит для последующих задач компьютерного зрения и поиска по визуальному сходству. Веса доступны в форматах PyTorch и Safetensors; библиотека карточки — timm. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специальные ограничения по применению или гарантии качества; результат классификации зависит от соответствия входных изображений обучающим данным и набора меток.

timm/vit_base_patch16_dinov3.lvd1689m — визуальный энкодер семейства DINOv3, опубликованный командой PyTorch Image Models (timm). Это ViT-Base с патчами 16×16, содержащий 85,6 млн параметров. Модель обучена на наборе LVD-1689M методом дистилляции из DINOv3 ViT-7B; стандартный размер изображения — 256×256 пикселей. Энкодер преобразует изображение в признаки и эмбеддинги для последующего использования в классификации, сегментации, поиске похожих изображений и других задачах компьютерного зрения. README приводит результаты сравнений DINOv3 на глобальных и плотных задачах, но отдельные метрики именно этой версии не указаны. Веса доступны в форматах PyTorch и safetensors. README отмечает, что реализация timm отключает нулевые смещения QKV и иначе хранит периоды RoPE, что может вызывать небольшие численные отличия от исходной реализации. Лицензия обозначена как DINOv3; её конкретные условия следует сверять с лицензией проекта DINOv3.

Это модель извлечения признаков изображений: визуальный энкодер CLIP на основе ViT-Base с патчами 32×32 и входным разрешением 224 пикселя. Весá опубликованы в библиотеке timm и обучены на наборе LAION-2B. Репозиторий содержит только энкодер изображений, поэтому модель формирует визуальные признаки для дальнейшего использования в поиске, сопоставлении изображений и других задачах компьютерного зрения. Модель принимает изображения и выдаёт векторные представления. Она не включает текстовый энкодер CLIP и сама по себе не генерирует описания или ответы на вопросы об изображениях. Лицензия — Apache-2.0.

timm/vit_huge_patch14_224.orig_in21k — модель Vision Transformer для извлечения признаков изображений. Она предварительно обучена авторами статьи на ImageNet-21k с использованием JAX и перенесена в PyTorch Россом Уайтманом. Веса доступны в форматах PyTorch и safetensors; модель содержит около 630,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Классификационная голова отсутствует: модель предназначена для получения признаков и эмбеддингов изображений, а также для дальнейшей тонкой настройки. Её можно использовать как визуальный backbone в системах машинного зрения и как основу для адаптации к задачам классификации. Репозиторий распространяется по лицензии Apache-2.0.