I.8Изображения и компьютерное зрение

belfner/vit_small_patch16_lingbot.robbyant — энкодер изображений LingBot-Vision на архитектуре ViT-Small/16, подготовленный авторами статьи и преобразованный для реализации Eva/DINOv3 в библиотеке timm. Модель извлекает признаки изображения; в README также описаны сценарии получения карт признаков, эмбеддингов изображений и классификации. Веса содержат 21,6 млн параметров, а указанный размер изображения — 512 × 512 пикселей. Энкодер дистиллирован из модели-учителя ViT-Giant/16, предварительно обученной на задаче masked-boundary, на корпусе из 161 млн отобранных веб-изображений. Токены расположены в порядке CLS, четыре регистрационных токена, затем патчи. Конфигурация использует усреднение по патчам; режим global_pool='token' воспроизводит представление CLS из исходной модели. README сообщает о совпадении выходов fp32 с эталонной реализацией на размерах 512 × 512 и 384 × 512. Лицензия Apache 2.0. Для работы требуется версия timm с поддержкой LingBot; архитектура на момент карточки ожидала включения в timm.

Это модель классификации изображений на архитектуре Vision Transformer (ViT), обученная авторами исследований на ImageNet-21k и дообученная на ImageNet-1k с дополнительной аугментацией и регуляризацией. Модель перенесена из JAX в PyTorch Россом Уайтманом и доступна через библиотеку timm. Модель содержит около 22,9 млн параметров, рассчитана на изображения размером 384 × 384 пикселя и может использоваться как для классификации, так и как основа для извлечения признаков и получения эмбеддингов изображений. Основной сценарий — отнесение изображения к одному из классов ImageNet-1k. Модель принимает изображения и выдаёт метки классов либо векторные представления изображений. Она обучена на ImageNet, поэтому её применимость к узким предметным областям и изображениям, существенно отличающимся от обучающих данных, может быть ограничена. Лицензия репозитория — Apache-2.0.

Это визуальный энкодер SigLIP из библиотеки timm: модель преобразует изображения в признаки и поддерживает извлечение визуальных представлений. В карточке указаны вариант SO400M с патчами 14×14 и входным разрешением 378 пикселей; сохранён исходный механизм attention pooling. Модель разработана как часть семейства timm и распространяется в форматах PyTorch и safetensors. Энкодер подходит для получения признаков изображений в системах визуального поиска, сопоставления и анализа. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. В доступной карточке не приведены сведения о качестве на конкретных наборах данных.

Это модель семейства SigLIP, опубликованная timm: визуальный энкодер на архитектуре ViT с патчами 14×14 и глобальным усреднением признаков. Модель предназначена для извлечения признаков изображений и может служить визуальной частью систем поиска, сравнения и анализа изображений. В метаданных указаны библиотека timm, форматы PyTorch и Safetensors, а также лицензия Apache-2.0. README описывает только энкодер изображений; сведений о текстовом энкодере и мультимодальном сопоставлении нет.

Это визуальный энкодер timm/vit_so400m_patch16_siglip_384.v2_webli из семейства SigLIP 2 на архитектуре ViT, предназначенный для извлечения признаков изображений. Модель соответствует визуальной части SigLIP 2 и обучена на наборе данных WebLI. Энкодер преобразует изображение в признаки для дальнейшего использования в поиске по изображениям, сопоставлении изображений с текстом и других мультимодальных системах. Репозиторий распространяет веса в форматах PyTorch и safetensors, библиотека для работы — timm. Лицензия Apache-2.0.

VOLO-D5 — модель классификации изображений семейства Vision Outlooker, представленная в timm и обученная авторами статьи на ImageNet-1k с разметкой токенов. Она предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения признаков. Модель содержит около 295,5 млн параметров, рассчитана на изображения размером 224 × 224 и имеет вычислительную сложность 72,4 GMACs. Модель принимает изображения и выдаёт классы либо визуальные представления для последующей обработки. Репозиторий распространяет веса в форматах PyTorch и safetensors; лицензия — Apache-2.0. Карточка показывает примеры классификации и получения эмбеддингов, но не сообщает отдельные показатели качества.

facebook/webssl-dino2b-full2b-224 — визуальный энкодер Meta на архитектуре DINOv2: ViT шириной 2688, глубиной 24 слоя и с 21 головой внимания, содержащий 2,8 млрд параметров по метаданным. Модель обучена методом самообучения на 2 млрд веб-изображений из данных MetaCLIP без языковой супервизии; входное разрешение — 224×224 пикселя. Модель предназначена для извлечения визуальных признаков и построения представлений изображений для задач компьютерного зрения. README сообщает о результатах на стандартных визуальных бенчмарках, а также о возможностях в мультимодальных задачах, включая визуальные вопросы и распознавание текста и диаграмм; основная задача в метаданных — image-feature-extraction. Это исследовательская модель, представленная в 2025 году в работе «Scaling Language-Free Visual Representation Learning». Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

facebook/webssl-dino300m-light2b-224 — визуальная модель на основе Vision Transformer (ViT), представленная в работе Fan et al. «Scaling Language-Free Visual Representation Learning» (2025). Она обучена методом самообучения DINOv2 на облегчённо отфильтрованной веб-выборке MetaCLIP без языковой супервизии. Вариант light2b обучался на подмножестве изображений с текстовым содержимым, составляющем около 50,3% исходного набора. Модель предназначена для извлечения визуальных признаков из изображений и их использования в последующих задачах компьютерного зрения. Она принимает изображения с разрешением 224×224 пикселя; архитектура имеет ширину 1536, глубину 40 и 24 головы внимания. По метаданным репозитория, веса занимают около 402,7 млн параметров. Обучение на изображениях с текстом улучшает возможности, связанные с OCR и пониманием диаграмм, при этом модель сохраняет универсальные визуальные представления. Модель не обучалась с языковой супервизией и сама по себе не предназначена для генерации текста или распознавания OCR-текста как отдельного результата. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Web-SSL DINO ViT-7B — визуальная модель семейства DINOv2, представленная в работе «Scaling Language-Free Visual Representation Learning» (Fan et al., 2025). Она обучена методом самообучения на 8 млрд веб-изображений из данных MetaCLIP без языковой супервизии. Архитектура — Vision Transformer с шириной 4096, глубиной 32 и 32 головами внимания; разрешение входных изображений — 224×224 пикселя. В метаданных указано 8,6 млрд параметров, тогда как README округляет размер до 7 млрд. Модель предназначена для извлечения визуальных признаков и получения представлений изображений для задач компьютерного зрения. Авторы также сообщают о результатах на традиционных бенчмарках зрения и мультимодальных задачах, включая визуальные вопросы, OCR и понимание диаграмм; это описание не означает, что репозиторий предоставляет отдельную языковую модель для генерации ответов. Доступна в формате safetensors для Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

timm/xception41.tf_in1k — сверточная модель семейства Aligned Xception для классификации изображений и извлечения признаков. Она обучена на ImageNet-1k в TensorFlow и перенесена в PyTorch Россом Уайтманом; репозиторий предоставляет веса в форматах PyTorch и safetensors и рассчитан на библиотеку timm. Модель содержит около 27 млн параметров, требует изображения размером 299 × 299 пикселей и имеет вычислительную стоимость 9,3 GMACs. Её можно применять для отнесения изображений к классам ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Лицензия — Apache-2.0. Классификация ориентирована на классы ImageNet-1k; качество на других наборах данных и для иных распределений изображений в карточке не охарактеризовано.

timm/xception65.ra3_in1k — модель классификации изображений и визуальный backbone из библиотеки timm, подготовленная Россом Уайтманом. Это Aligned Xception, предварительно обученная на ImageNet-1k с рецептом RandAugment RA3; архитектура использует глубинные свёртки. Веса доступны в форматах PyTorch и safetensors под лицензией Apache-2.0. Модель предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Она содержит 39,9 млн параметров; рекомендуемый размер входного изображения — 299 × 299 пикселей. Карточка не приводит подробностей о составе классов, качестве на отдельных наборах данных или поддержке иных задач.

XCiT Large 24 P16 224 fb_in1k — модель классификации изображений на архитектуре Cross-Covariance Image Transformer (XCiT), опубликованная авторами статьи и предобученная на ImageNet-1k. В ней около 189,1 млн параметров; она рассчитана на изображения размером 224 × 224 пикселя и может использоваться также как визуальная основа для извлечения признаков и эмбеддингов. Модель подходит для классификации изображений по категориям ImageNet-1k и получения визуальных представлений для последующих задач компьютерного зрения. Репозиторий поддерживает форматы PyTorch и safetensors; метаданные указывают библиотеку timm. Лицензия — Apache-2.0.

Zoobot Encoder ConvNeXt Large — модель зрения, опубликованная mwalmsley и предназначенная для использования в качестве визуального энкодера и дообучения под задачи классификации изображений. Она построена на архитектуре ConvNeXt Large и доступна через библиотеку timm; карточка предлагает загружать её как энкодер без классификационной головы. Модель подходит для извлечения признаков из изображений и последующей адаптации к классификации. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. README отсылает к документации Zoobot за инструкциями по загрузке и дообучению.

AIMv2-1B-patch14-224 — модель компьютерного зрения из семейства AIMv2, разработанного Apple и предварительно обученного с мультимодальной авторегрессионной целью. Этот вариант содержит около 1,2 млрд параметров и предназначен для извлечения признаков изображений; в репозитории доступны веса Safetensors и Flax для использования с Transformers. Модель можно применять как визуальный энкодер для получения представлений изображений, а также как основу для задач распознавания и мультимодального понимания. В README семейство AIMv2 описано как превосходящее CLIP и SigLIP на большинстве бенчмарков мультимодального понимания, а также DINOv2 в обнаружении объектов с открытым словарём и понимании выражений, указывающих на объекты. Эти результаты относятся к семейству и не гарантируют такие же показатели именно для данного варианта. Модель принимает изображения и выдаёт их признаки в виде векторов. Лицензия репозитория — apple-amlr; перед использованием следует учитывать её условия. Карточка не сообщает о поддерживаемых естественных языках.

AIMv2 Huge Patch14 448 — зрительная модель семейства AIMv2, разработанная Apple и предварительно обученная с мультимодальной авторегрессионной целевой функцией. Она принимает изображения и извлекает визуальные признаки; её можно использовать как основу для распознавания изображений, поиска по визуальному содержимому и других задач понимания изображений. Модель содержит около 679,5 млн параметров и доступна для Transformers в форматах Flax и Safetensors. В README семейство AIMv2 описано как превосходящее OAI CLIP и SigLIP на большинстве мультимодальных тестов понимания, а также DINOv2 в обнаружении объектов с открытым словарём и понимании ссылочных выражений. Для загрузки приведены примеры на PyTorch и JAX. Лицензия — Apple AMLR.

AIMv2 Large Patch14 Native — зрительная модель семейства AIMv2 от Apple, обученная с мультимодальной авторегрессионной целью. Репозиторий содержит вариант модели для извлечения признаков изображения с архитектурой Aimv2VisionModel и примерно 308,3 млн параметров; доступны веса в форматах Flax и Safetensors для Transformers. Модель принимает изображения и формирует визуальные признаки, которые можно использовать в системах компьютерного зрения и мультимодального понимания. В карточке семейства заявлены результаты выше OAI CLIP и SigLIP на большинстве тестов мультимодального понимания, а также выше DINOv2 в обнаружении объектов с открытым словарём и понимании выражений, указывающих на объекты. Эти сравнительные результаты относятся к семейству AIMv2 и не гарантируют те же показатели для данного варианта. Лицензия репозитория — Apple AMLR. Описание модели не уточняет ограничения или условия практического применения сверх условий этой лицензии.

BotNet26t_256.c1_in1k — модель классификации изображений на основе архитектуры ResNet с блоками пространственного самовнимания. Её разработал Ross Wightman и обучил на ImageNet-1k с помощью библиотеки timm; архитектура реализована через гибкую систему BYOBNet. Модель предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов. Она рассчитана на изображения размером 256 × 256 пикселей, содержит около 12,5 млн параметров и требует 3,3 GMACs на изображение. При настройке использовались схема обучения ResNet Strikes Back C, оптимизатор SGD с Nesterov, адаптивное ограничение градиентов и косинусное расписание скорости обучения. Модель доступна в форматах PyTorch и safetensors. Это вариант BotNet с уменьшенным числом блоков самовнимания, настроенный на разумное время обучения; он не воспроизводит конфигурацию какой-либо конкретной научной работы. Для использования и модификации действует лицензия Apache-2.0.

CaiT-XXS36-384.fb_dist_in1k — модель семейства Class-Attention in Image Transformers для классификации изображений и извлечения визуальных признаков. Она представлена в библиотеке timm; веса предварительно обучены авторами статьи на ImageNet-1k с дистилляцией. Модель содержит 17,4 млн параметров, имеет вычислительную сложность 14,4 GMACs и рассчитана на изображения размером 384 × 384 пикселя. Её можно использовать для классификации изображений и получения эмбеддингов как визуального бэкбона. Модель принимает изображения и выдаёт классовые предсказания либо признаки. В карточке указана лицензия Apache-2.0. Данные о точности и поддержке изображений других размеров не приведены.

Это репозиторий с весами CCSR-v2 (Continuous Latent Diffusion for Image Super-Resolution), опубликованными как перепубликация официальных весов проекта AI-Wrappers. Модель предназначена для повышения разрешения изображений с помощью диффузионной модели и ControlNet; шаги инференса можно выбирать гибко. Репозиторий включает компоненты Stable Diffusion 2.1, специально обученные веса ControlNet для первого этапа CCSR и дообученные веса VAE для второго этапа. Для запуска автор README рекомендует библиотеку ccsr-pruned. Файлы представлены в форматах Diffusers и Safetensors. Лицензия — Apache-2.0. Модель принимает изображение и выдаёт его увеличенную версию; по метаданным также поддерживается генерация изображения по тексту. Параметры размера и контекста в доступных сведениях не приведены.

CLIP ViT-L/14 — мультимодальная модель семейства CLIP, обученная LAION с помощью OpenCLIP на англоязычной подвыборке из 2 млрд пар данных LAION-5B. В карточке указано, что обучение проводил Росс Уайтман на суперкомпьютере JUWELS Booster. Модель принимает изображения и текстовые описания и сопоставляет их в общем пространстве признаков; основная задача в каталоге — классификация изображений без примеров обучения по текстовым меткам. Её также применяют для поиска изображений по тексту и текста по изображению, линейной классификации и как компонент конвейеров генерации изображений. Для ImageNet-1k заявлена точность zero-shot top-1 75,3%. Модель обучалась на английских данных и не предназначена для сценариев на других языках. Авторы рекомендуют ограничивать применение исследованиями; развёрнутые сценарии и использование без тщательной проверки на фиксированной таксономии не рекомендуются. Применение для наблюдения и распознавания лиц исключено из допустимых сценариев. Лицензия — MIT.

ConvFormer-S18 — модель классификации изображений и извлечения визуальных признаков из семейства ConvFormer (MetaFormer), распространяемая авторами через библиотеку timm. Она предварительно обучена на ImageNet-22k и дообучена на ImageNet-1k для классификации изображений; также может использоваться как backbone для извлечения карт признаков и эмбеддингов изображений. Модель содержит 26,8 млн параметров, рассчитана на входные изображения размером 384 × 384 и имеет вычислительную сложность 11,6 GMACs. Модель подходит для классификации изображений и получения визуальных представлений в компьютерном зрении. Веса доступны в форматах PyTorch и safetensors, лицензия — Apache-2.0. В карточке не приведены сведения о точности, поддержке других наборов классов или обработке изображений произвольного размера; применение за пределами классификации ImageNet может потребовать адаптации.

convnext_femto.d1_in1k — компактная сверточная модель классификации изображений из семейства ConvNeXt, обученная Россом Уайтманом с помощью библиотеки timm на ImageNet-1k. Веса доступны в форматах PyTorch и safetensors; лицензия — Apache-2.0. Модель содержит около 5,2 млн параметров и предназначена для классификации изображений, извлечения признаковых карт и получения эмбеддингов. Размер изображения при обучении составлял 224×224 пикселя, при тестировании — 288×288. Компактный размер и вычислительная стоимость около 0,8 GMAC делают её подходящей для сравнительно лёгких задач компьютерного зрения.

timm/convnext_large.fb_in22k_ft_in1k_384 — модель классификации изображений на архитектуре ConvNeXt Large, опубликованная авторами статьи и доступная через библиотеку timm. Она предварительно обучена на ImageNet-22k и дообучена на ImageNet-1k; число параметров — 197,8 млн, рекомендуемый размер входного изображения — 384 × 384 пикселя. Модель предназначена для отнесения изображений к классам ImageNet-1k. Её также можно использовать как основу для извлечения признаковых карт и получения векторных представлений изображений. Карточка указывает метрики на ImageNet-1k: top-1 — 87,8%, top-5 — 98,6%. Веса доступны в форматах PyTorch и Safetensors. Для практического применения нужны вычислительные ресурсы, соответствующие крупной модели с высокой стоимостью обработки изображений. Обучение и заявленные метрики относятся к ImageNet; карточка не подтверждает качество на других наборах данных или специализированных предметных областях. Лицензия — Apache-2.0.

Это веса визуального энкодера ConvNeXt-XXLarge из семейства CLIP, опубликованные командой timm. Модель предназначена для извлечения признаков изображений и представления их в виде векторов, пригодных для сравнения и поиска. Энкодер можно использовать как часть CLIP-сценариев, например для получения признаков изображений перед поиском или анализом. В репозитории указаны форматы PyTorch и safetensors и библиотека timm. Лицензия — Apache-2.0. В карточке указана только визуальная часть CLIP; сведений о текстовом энкодере, поддерживаемых языках, размере входа и ограничениях качества нет.

CPUBone Nano — модель классификации изображений и извлечения визуальных признаков, разработанная авторами статьи CPUBone и обученная на ImageNet-1k. Эта версия преобразована в формат state dict библиотеки timm и распространяется в формате safetensors под лицензией Apache 2.0. Модель рассчитана на эффективный вывод на CPU: она сочетает варианты grouped MBConv, уменьшенные свёрточные ядра и механизм внимания LowFormer в двух последних стадиях. В модели около 6,5 млн параметров, вычислительная сложность составляет 0,2 GMAC, стандартный размер входного изображения — 224 × 224 пикселя. Помимо классификации ImageNet-1k, её можно использовать для получения эмбеддингов и многомасштабных карт признаков. Для предобработки используются бикубическое изменение размера, центрированная обрезка с crop_pct=0.95 и статистики нормализации ImageNet. Скорость на CPU зависит от оборудования, среды выполнения, способа экспорта и размера пакета; показатели задержки из статьи относятся к конкретным устройствам и методике измерения.

Это Vision Transformer крупного размера на базе DINOv2 с дополнительными register-токенами. Модель представлена в репозитории Facebook и относится к семейству DINOv2 with Registers. Архитектура использует трансформерный энкодер для изображений; в карточке указано около 402,7 млн параметров. Специализированная дообученная голова классификации отсутствует. Модель предназначена для классификации изображений по 1000 классам ImageNet и извлечения визуальных признаков, которые можно использовать в последующих задачах, например обучая линейный классификатор поверх представления токена CLS. Добавление register-токенов призвано уменьшить артефакты в картах внимания и улучшить их интерпретируемость. Прикладное использование ограничено задачами визуального анализа; для иной классификации может потребоваться дообучение на целевом наборе данных. Лицензия — Apache-2.0.

EdgeNeXt Small USI — модель классификации изображений семейства EdgeNeXt, обученная авторами статей на ImageNet-1k с дистилляцией USI. Она предназначена для определения классов объектов на изображениях, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 5,6 млн параметров, требует около 1,3 GMACs и рассчитана на мобильные сценарии компьютерного зрения. Размер изображения при обучении составлял 256 × 256 пикселей, при тестировании — 320 × 320. Репозиторий предоставляет веса PyTorch и safetensors; библиотека — timm. Лицензия — MIT. Модель обучена на ImageNet-1k, поэтому её качество и применимость могут быть ограничены классами и распределением данных этого набора; для специализированных данных может потребоваться дообучение.

EVA-Giant Patch14 336 CLIP — модель классификации изображений и извлечения визуальных признаков, опубликованная авторами статьи EVA-CLIP и доступная в библиотеке timm. Визуальная башня CLIP предварительно обучена на LAION-400M и дообучена на ImageNet-1k. Модель содержит около 1,013 млрд параметров и рассчитана на изображения размером 336 × 336 пикселей. Модель подходит для классификации изображений по категориям ImageNet-1k, а также для извлечения эмбеддингов изображений. README описывает обучение с использованием визуальных и текстовых башен CLIP, предварительного обучения MIM, прореживания патчей FLIP и оптимизаций, ускоряющих обучение. В репозитории timm веса сохранены в float32; исходные веса доступны в float16 или bfloat16. Лицензия — MIT. Модель ориентирована на изображения и сама по себе не предназначена для диалога или генерации текста; сведения об ограничениях точности и поведении на данных вне ImageNet-1k в карточке не приведены.

FastViT T12 — модель классификации изображений и извлечения визуальных признаков из семейства FastViT. Её обучили авторы работы FastViT на ImageNet-1k с дистилляцией; карточка опубликована в репозитории timm на Hugging Face. Модель содержит 7,6 млн параметров, использует гибридную архитектуру vision transformer и свёрточных операций со структурной репараметризацией. Для обработки изображений указано разрешение 256 × 256 пикселей. Модель подходит для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Компактный размер и вычислительная стоимость 1,4 GMAC делают её пригодной для визуальных задач с ограниченными ресурсами. Классификатор ориентирован на классы ImageNet-1k, поэтому для других наборов категорий может потребоваться адаптация. Лицензия обозначена как other; README предписывает соблюдать исходную лицензию, условия которой следует проверить в источнике модели.

Microsoft Florence-2-large — универсальная модель компьютерного зрения и языка с архитектурой Florence-2 и последовательной схемой преобразования входа в выход. В этой карточке размещена продолженная версия предварительно обученной Florence-2-large: в README указано, что для продолжения обучения использовано 0,1 млрд примеров и контекст увеличен до 4 тыс. токенов; авторы предупреждают, что модель могла быть обучена недостаточно хорошо. Размер исходной Florence-2-large указан как 0,77 млрд параметров. Модель принимает изображение и текстовую задачу в виде промпта. Она предназначена для создания подписей к изображениям, обнаружения объектов, локализации областей по тексту, предложений регионов, сегментации и распознавания текста на изображениях, в том числе с привязкой OCR-результатов к областям. Florence-2 обучалась на датасете FLD-5B с 5,4 млрд аннотаций для 126 млн изображений; README приводит результаты оценки для описания изображений и обнаружения объектов, но отдельно отмечает возможное ухудшение качества именно этой продолженно обученной версии. Репозиторий содержит реализацию для Transformers, веса представлены в PyTorch и Safetensors. Лицензия — MIT. Описание не задаёт конкретный набор естественных языков; качество OCR и визуальных предсказаний может зависеть от изображения и задачи.