I.8Изображения и компьютерное зрение

RegNetY-600MF — модель классификации изображений из семейства RegNet, опубликованная авторами статьи и доступная в библиотеке timm. Она предварительно обучена на ImageNet-1k и предназначена для распознавания объектов на изображениях, а также может использоваться как базовая сеть для извлечения признаков и эмбеддингов. Модель содержит около 6,1 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. В реализации timm доступны стохастическая глубина, градиентный чекпойнтинг, настройка шага выходных признаков и другие параметры сети. Веса распространяются в формате PyTorch Safetensors под лицензией MIT. Классификация ориентирована на категории ImageNet-1k, поэтому точность для других предметных областей или нестандартных изображений не гарантируется. Для специализированного применения может потребоваться адаптация или дообучение.

RegNetZ-4GF — модель классификации изображений и извлечения признаков, обученная Россом Уайтманом в библиотеке timm на ImageNet-1k. Веса доступны в форматах PyTorch и Safetensors под лицензией Apache-2.0. Модель содержит 27,1 млн параметров и выполняет около 4,1 GMACs. Для обучения указано разрешение 256×256 пикселей, для тестирования — 320×320. Она подходит для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Реализация timm включает стохастическую глубину, градиентный чекпойнтинг и настройку выходного шага сети. Модель ориентирована на изображения и не заявлена как специализированная для отдельных прикладных областей или языков. Качество за пределами ImageNet-1k и характеристики на иных разрешениях в карточке не приведены.

RepViT-M3 distillation-модель для классификации изображений и извлечения визуальных признаков. Разработана авторами работы RepViT и обучена на ImageNet-1k с дистилляцией. Модель построена на мобильной CNN-архитектуре RepViT и содержит около 10,7 млн параметров; для входных изображений указано разрешение 224 × 224 пикселя. Модель подходит для присвоения изображениям классов ImageNet-1k, получения карт признаков и визуальных эмбеддингов, а также как компактный визуальный бэкбон в компьютерном зрении. Вычислительная стоимость составляет 1,9 GMACs. Репозиторий распространяет веса в форматах PyTorch и safetensors; лицензия Apache-2.0.

Res2Net-50 26w 4s — модель классификации изображений и извлечения визуальных признаков семейства Res2Net, опубликованная авторами статьи и обученная на ImageNet-1k. Она реализована для библиотеки timm; в карточке указано около 25,7 млн параметров и расчёт для изображений размером 224 × 224 пикселя. Модель подходит для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Архитектура Res2Net использует многомасштабные признаки внутри остаточных блоков, что делает её пригодной как визуальная основа для компьютерного зрения. Карточка указывает форматы PyTorch и safetensors. Лицензия в метаданных обозначена как неизвестная, поэтому условия использования по этой карточке установить нельзя.

ResNeSt-14d.gluon_in1k — модель классификации изображений на основе ResNet с механизмом Split Attention, обученная авторами статьи на ImageNet-1k. Она предназначена для отнесения изображения к одному из классов ImageNet, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 10,6 млн параметров, требует изображения размером 224 × 224 и имеет вычислительную сложность 2,8 GMACs. Репозиторий предоставляет веса в форматах PyTorch и safetensors; модель поддерживается библиотекой timm. Лицензия — Apache-2.0.

ResNet18.a3_in1k — модель классификации изображений на архитектуре ResNet, предоставленная проектом timm. Она обучена на ImageNet-1k с рецептом ResNet Strikes Back A3; в модели около 11,7 млн параметров, вычислительная сложность — 0,9 GMAC. Используются ReLU, свёртка 7×7 с пулингом и остаточные связи с проекцией 1×1 для уменьшения размерности. Размер изображения при обучении составлял 160×160, при тестировании — 224×224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Форматы весов в репозитории — PyTorch и safetensors. Лицензия — Apache-2.0. Качество может снижаться на изображениях и категориях, существенно отличающихся от ImageNet-1k; для других доменов потребуется отдельная проверка или адаптация.

ResNet26D — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k. Архитектура ResNet-D использует активации ReLU, трёхслойный начальный блок из свёрток 3×3 с пулингом и короткие соединения с понижением размерности через усредняющий пулинг 2×2 и свёртку 1×1. Модель содержит около 16 млн параметров и рассчитана на классификацию изображений; также её можно использовать как основу для извлечения карт признаков и эмбеддингов. Обучение выполнено по рецепту Bag of Tricks с оптимизатором SGD с Nesterov и косинусным расписанием скорости обучения с разогревом. Размер изображений при обучении — 224×224, при тестировании — 288×288. Модель предназначена для распознавания объектов на изображениях общего назначения. Распространяется по лицензии Apache-2.0.

Это модель классификации изображений ResNet-B из библиотеки timm, обученная на ImageNet-1k по рецепту ResNet Strikes Back C. Архитектура использует активации ReLU, начальную свёртку 7×7 с пулингом и остаточные блоки с проекциями 1×1. Модель содержит 25,6 млн параметров и требует изображения размером 288×288 при тестировании. Модель предназначена для классификации изображений по категориям ImageNet, а также может использоваться как сверточная основа для извлечения признаковых карт и векторных представлений изображений. Обучение проводилось с оптимизатором SGD с Nesterov, адаптивным ограничением градиента и косинусным расписанием скорости обучения с прогревом. Модель разработана для timm и распространяется по лицензии Apache-2.0. Карточка не описывает специально оптимизированные предметные области или языковые возможности; качество и применимость за пределами ImageNet-1k могут отличаться.

seresnet33ts.ra2_in1k — сверточная модель классификации изображений и извлечения признаков, разработанная Россом Уайтманом и реализованная в библиотеке timm. Она основана на ResNet с механизмом Squeeze-and-Excitation для внимания к каналам. Архитектура использует трёхслойный stem без pooling и активации SiLU; в реализации BYOBNet настраиваются блоки, стадии, свёрточный шаг и слои нормализации и внимания. Модель обучена на ImageNet-1k. В ней 19,8 млн параметров и 4,8 GMAC; размер изображения при обучении — 256 × 256, при тестировании — 288 × 288. Подходит для классификации изображений, извлечения карт признаков и получения эмбеддингов. Распространяется по лицензии Apache-2.0.

SHViT S2 in1k — модель классификации изображений на архитектуре Single-Head Vision Transformer, обученная авторами статьи на ImageNet-1k и опубликованная в библиотеке timm. Она предназначена для отнесения изображений к классам ImageNet, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 11,5 млн параметров, обрабатывает изображения размером 224 × 224 и требует 0,4 GMAC на проход. Репозиторий предоставляет веса PyTorch в формате safetensors. Лицензия MIT разрешает использование и распространение на её условиях.

m3/sscd-copy-detection — модель извлечения признаков изображений для поиска копий и визуально похожих изображений. Пример в карточке показывает загрузку изображений через Transformers pipeline и сравнение полученных векторов с помощью косинусного сходства. Модель относится к архитектурному семейству SSCD Copy Detection и выдаёт векторные представления изображений. Такой подход подходит для поиска дубликатов в коллекциях и оценки сходства пары изображений. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

tresnet_m.miil_in1k — модель классификации изображений семейства TResNet, обученная авторами статьи на ImageNet-1k. Её можно применять для отнесения изображений к классам ImageNet, а также как основу для извлечения карт признаков и эмбеддингов изображений. Модель содержит 31,4 млн параметров, требует изображение размером 224 × 224 пикселя и имеет вычислительную сложность 5,8 GMAC. Веса преобразованы для работы со стандартным BatchNorm вместо InplaceABN. Модель распространяется в форматах PyTorch и safetensors; библиотека для работы с ней — timm. Лицензия — Apache-2.0. Карточка описывает модель для классификации изображений и извлечения визуальных признаков; данные о точности или ограничениях на отдельных типах изображений не приведены.

TResNet V2-L — модель классификации изображений и извлечения визуальных признаков из семейства TResNet. Весá опубликованы авторами карточки в репозитории timm: модель предварительно обучена на ImageNet-21K-P, затем дообучена на ImageNet-1k. Вариант содержит 46,2 млн параметров и рассчитан на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Веса преобразованы для работы со стандартным BatchNorm вместо InplaceABN; репозиторий предоставляет их в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Классификатор обучен на ImageNet-1k, поэтому его категории и точность могут не соответствовать специализированным предметным областям или изображениям вне распределения обучения. Карточка не приводит численных результатов качества.

Это порт VideoPrism от Google DeepMind в формате PyTorch, подготовленный автором репозитория sposiboh на основе google/videoprism-base-f16r288. Репозиторий содержит веса Safetensors и самодостаточную реализацию для Transformers; заявлено численное совпадение выходов с эталонной реализацией JAX/Flax с cosine similarity 1,000000. Модель предназначена для извлечения признаков из видео: кадры равномерно выбираются до штатного для модели количества, масштабируются до image_size × image_size и нормализуются в диапазон [0, 1]. Полученные признаки подходят для последующего анализа видео в ML-конвейерах. Лицензия — Apache-2.0.

timm/visformer_small.in1k — модель классификации изображений и извлечения визуальных признаков на архитектуре Visformer, представленная в экосистеме timm. Она обучена на ImageNet-1k и предназначена для отнесения изображений к категориям, а также для получения эмбеддингов, пригодных как визуальные признаки в последующих задачах. Модель содержит около 40,2 млн параметров, рассчитана на изображения размером 224 × 224 и имеет вычислительную сложность 4,9 GMACs. Модель можно использовать для классификации изображений общего назначения и как backbone для компьютерного зрения. Репозиторий предоставляет веса PyTorch и safetensors; лицензия — Apache-2.0. Карточка не сообщает точность на тестовых наборах или ограничения по классам за пределами обучения на ImageNet-1k.

Модель timm/vit_base_patch16_clip_224.datacompxl — визуальный энкодер CLIP на архитектуре ViT-Base с патчами 16×16 и входным разрешением 224 пикселя. Это веса только для изображения, опубликованные в формате PyTorch и safetensors и предназначенные для извлечения признаков изображений. Их можно использовать для получения визуальных представлений как части системы поиска по изображениям или мультимодального решения. Модель распространяется по лицензии Apache-2.0.

vit_base_patch16_lingbot.robbyant — визуальный энкодер LingBot-Vision на архитектуре ViT-Base/16, опубликованный пользователем belfner. Модель извлекает признаки из изображений и формирует представления для классификации, получения карт признаков и построения эмбеддингов. Она реализована для timm и сохранена в форматах PyTorch и safetensors; число параметров — 85,7 млн, заявленный размер изображения — 512 × 512. Энкодер дистиллирован авторами статьи из ViT-Giant/16, предварительно обученного с маскированными границами, а веса преобразованы для реализации Eva/DINOv3 в timm. Последовательность токенов содержит CLS-токен, четыре регистрационных токена и патч-токены. По умолчанию глобальное усреднение применяется к патч-токенам; для получения исходного представления CLS требуется режим global_pool='token'. Карточка сообщает о полном совпадении выходов fp32 с эталонной реализацией на тестовых размерах 512 × 512 и 384 × 512. Модель подходит для извлечения визуальных признаков и эмбеддингов как компонента компьютерного зрения. Лицензия — Apache 2.0. Архитектурная запись LingBot в timm на момент карточки отмечена как находящаяся в разработке, поэтому для работы нужны соответствующие точки входа timm.

ROPE-ViT Base Patch16 с mixed-mode RoPE и абсолютными позиционными эмбеддингами — модель семейства timm, опубликованная авторами статьи о Rotary Position Embedding для Vision Transformer. Она предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 86,6 млн параметров, обучена на ImageNet-1k и рассчитана на изображения 224 × 224 пикселя; в README также отмечена хорошая переносимость на разрешение 320 × 320. Модель принимает изображения и выдаёт классовые предсказания; извлечение признаков и эмбеддингов доступно как дополнительный сценарий. Репозиторий распространяет веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

Это модель timm от команды Google — изображенческий энкодер SigLIP 2 на базе ViT с патчами 16×16 и входным разрешением 256 пикселей. Репозиторий содержит только визуальную башню, соответствующую image tower мультимодальной модели SigLIP 2; обучение связано с датасетом WebLI. Модель предназначена для извлечения признаковых представлений изображений: их можно использовать для поиска похожих изображений, сопоставления визуального содержимого или как визуальные признаки для последующих систем. Она поддерживает только входные изображения и выдаёт векторы признаков; языковые возможности полной модели SigLIP 2 к этому энкодеру не относятся. Распространяется по лицензии Apache-2.0.

Это визуальный энкодер SigLIP из библиотеки timm: вариант ViT-Base с патчами 16×16, глобальным усреднением признаков и входным разрешением 224 пикселя. В репозитории опубликованы веса только image encoder, обученного на данных WebLI; модель предназначена для извлечения признаков изображений и может использоваться в системах поиска и анализа изображений. Модель принимает изображения и выдаёт их векторные представления. Она доступна в форматах PyTorch и safetensors, библиотека для работы — timm. Лицензия — Apache-2.0. Карточка не описывает численное качество и подробные ограничения применения.

Это модель Vision Transformer (ViT) для классификации изображений и извлечения визуальных признаков. Её обучили авторы исследования в JAX на ImageNet-1k с дополнительной аугментацией и регуляризацией; Ross Wightman перенёс веса в PyTorch. Модель доступна через библиотеку timm. Модель содержит 88,2 млн параметров, использует изображения размером 224 × 224 пикселя и имеет вычислительную сложность 4,4 GMACs. Она подходит для классификации изображений по классам ImageNet-1k, а также как визуальный backbone для получения эмбеддингов и построения других компьютерно-зрительных систем. Веса распространяются по лицензии Apache-2.0. Качество модели ориентировано на классы ImageNet-1k; карточка не описывает отдельную оптимизацию для других доменов или типов изображений.

Это модель Vision Transformer (ViT) для классификации изображений и извлечения признаков. Её обучили авторы исследований на ImageNet-21k с дополнительной аугментацией и регуляризацией; Росс Уайтман перенёс веса в PyTorch для библиотеки timm. Модель содержит 104,3 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений и получения векторных представлений, например как основа для прикладных систем компьютерного зрения. В README также приведены исследования о масштабировании ViT и влиянии данных, аугментации и регуляризации на обучение. Репозиторий распространяется в форматах PyTorch и safetensors по лицензии Apache-2.0.

Модель vit_betwixt_patch16_reg4_gap_384.sbb2_e200_in12k_ft_in1k — вариант Vision Transformer для классификации изображений и извлечения визуальных признаков. Её разработал Ross Wightman в библиотеке timm: модель предварительно обучена на ImageNet-12k, затем дообучена на ImageNet-1k. Архитектура использует патчи 16×16, четыре регистрационных токена и глобальное усреднение признаков. Модель рассчитана на изображения размером 384×384 пикселя и содержит около 60,6 млн параметров. Она подходит для присвоения изображениям классов ImageNet, извлечения карт признаков и получения эмбеддингов изображений. В сравнении из карточки указана точность top-1 86,594% и top-5 98,02% на ImageNet-1k. Модель работает с изображениями и выдаёт метки классов либо визуальные признаки. Она предназначена для задач распознавания объектов общего назначения, а не для конкретной прикладной области; качество на данных, отличающихся от ImageNet, может быть ниже. Распространяется по лицензии Apache-2.0.

vit_intern300m_patch14_448.ogvl_dist — модель извлечения признаков изображений из семейства InternViT, опубликованная в экосистеме timm. Авторы статьи дистиллировали её от InternViT-6B на разнообразных данных «изображение—текст»; веса исходной модели OpenGVLab/InternViT-300M-448px преобразованы в формат timm. Модель содержит 304 млн параметров и рассчитана на изображения размером 448 × 448 пикселей. Модель можно использовать как визуальную основу для классификации, извлечения карт признаков и получения эмбеддингов изображений. Обучающие данные включают англоязычные и китайские пары «изображение—текст», а также наборы с подписями, объектами и OCR. Модель принимает изображения и выдаёт признаки, пригодные для последующей обработки; это не универсальная генеративная модель. Распространяется по лицензии MIT. В README отмечено отсутствие финальной нормализации перед признаками или головой модели.

Это веса визуального энкодера CLIP из семейства DFN, опубликованные разработчиками timm. Модель принимает изображения и преобразует их в признаки и эмбеддинги; она предназначена для извлечения визуальных представлений, в том числе как часть систем поиска и сопоставления изображений с текстом. В репозитории указаны архитектура ViT-Large с патчами 14 и разрешением изображения 224 пикселя, а также веса в форматах PyTorch и Safetensors. Карточка уточняет, что это только энкодер изображений, поэтому модель сама по себе не генерирует текст и не выполняет полный цикл CLIP-сопоставления с текстом. Лицензия обозначена как other; конкретные условия следует проверить в файлах репозитория.

Это модель Vision Transformer (ViT) для классификации изображений и извлечения признаков, опубликованная проектом timm. Она содержит около 304,5 млн параметров и принимает изображения размером 336 × 336 пикселей. Модель предварительно обучена OpenCLIP на парах изображение–текст из LAION-2B, затем дообучена на ImageNet-12k и ImageNet-1k. Модель подходит для классификации изображений и получения эмбеддингов изображений в приложениях компьютерного зрения. В репозитории доступны веса PyTorch и Safetensors; лицензия — Apache-2.0. Высокое число параметров и вычислительная стоимость могут затруднить запуск на ограниченном оборудовании; сведения о поддержке языковых текстовых запросов в карточке не приведены.

Perception Encoder (PE) Core Large Patch14 336 — визуальный энкодер Meta, опубликованный в remapped-версии для библиотеки timm. Это image encoder only вариант исходных весов PE: модель преобразует изображения в визуальные признаки и эмбеддинги, пригодные для последующих задач понимания изображений и видео. Семейство PE обучалось с помощью контрастивного vision-language предобучения и дообучения на синтетически выровненных видео; среди заявленных сценариев — классификация и поиск по изображениям. Версия в этом репозитории предназначена для извлечения признаков, а не для генерации текста или изображений. Модель принимает изображения; карточка описывает PE как крупномасштабный энкодер, но точное число параметров и контекст изображения для этого чекпойнта в предоставленных данных не приведены. Репозиторий содержит веса PyTorch и safetensors и использует библиотеку timm. Разработчик модели — Meta; лицензия — Apache-2.0. Для этой версии доступна только модальность визуального энкодера, поэтому её признаки обычно используют как вход для отдельной downstream-модели или системы поиска.

timm/vit_pe_spatial_gigantic_patch14_448.fb — вариант энкодера изображений Perception Encoder Spatial, разработанный Meta и представленный в библиотеке timm. Это модель семейства Vision Transformer с патчами 14 пикселей и входным разрешением 448 пикселей; репозиторий содержит только энкодер изображений и веса в форматах PyTorch и Safetensors. Модель предназначена для извлечения детализированных визуальных признаков, которые можно использовать в задачах классификации, поиска по изображениям и плотного предсказания, включая обнаружение объектов и сегментацию. Пространственные признаки PE Spatial уточнены с помощью дистилляции от промежуточных слоёв PE Core и обучения на масках SAM 2.1; в README приведены результаты на ADE20k, LVIS и COCO. Лицензия — Apache-2.0. Модель принимает изображения и выдаёт визуальные представления; естественный язык не является её основным входом или выходом. README не сообщает конкретный размер модели и длину контекста.

timm/vit_small_patch16_384.augreg_in1k — модель классификации изображений на архитектуре Vision Transformer (ViT), обученная авторами исследования в JAX и перенесённая в PyTorch Россом Уайтманом. Модель обучена на ImageNet-1k с дополнительной аугментацией и регуляризацией; содержит 22,2 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель подходит для классификации изображений по классам ImageNet-1k и может использоваться как визуальный backbone для извлечения эмбеддингов. Лицензия — Apache-2.0. Данных о поддержке текста или других модальностей нет.

Модель timm/vit_so400m_patch14_siglip_224.webli — визуальный энкодер семейства SigLIP на архитектуре Vision Transformer. Это только image encoder с исходным attention pooling, предназначенный для извлечения признаков изображений. Модель разработана Google и распространяется в экосистеме timm; веса доступны в форматах PyTorch и safetensors. Энкодер преобразует изображение в признаки, которые можно использовать для визуального поиска, сопоставления изображений и построения систем классификации или кластеризации с отдельными компонентами. Карточка не сообщает размер модели, разрешение входа, языки или контекст; лицензия Apache-2.0 разрешает использование и распространение на её условиях.