I.8Изображения и компьютерное зрение

Это визуальный энкодер семейства DINOv3 на архитектуре ViT-S+/16, опубликованный в библиотеке timm. Модель содержит 28,7 млн параметров и преобразует изображения в признаки и эмбеддинги; размер изображения в карточке — 256 × 256 пикселей. Она дистиллирована из DINOv3 ViT-7B на наборе LVD-1689M. Энкодер предназначен для извлечения признаков, которые можно использовать в классификации изображений, сегментации и других задачах компьютерного зрения. Карточка приводит результаты на задачах классификации и плотного предсказания, но это модель извлечения признаков, а не готовая система для этих задач. Доступны веса в форматах PyTorch и Safetensors. В README указана лицензия DINOv3; метаданные Hugging Face обозначают лицензию как other.

timm/vit_so400m_patch14_siglip_378.webli_ft_in1k — модель на основе Vision Transformer (ViT), разработанная для библиотеки timm. Энкодер предварительно обучен контрастивным методом SigLIP на наборе WebLI и дообучен для классификации изображений на ImageNet-1k. Веса распространяются в форматах PyTorch и Safetensors по лицензии Apache-2.0. Модель предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Она содержит около 429,4 млн параметров и рассчитана на входные изображения размером 378 × 378 пикселей. Большой размер модели и вычислительная нагрузка могут ограничивать её применение на устройствах с малым объёмом памяти или без ускорителя.

vit_so400m_patch16_siglip_gap_384.v2_webli — визуальный энкодер SigLIP 2 на архитектуре ViT, предназначенный для библиотеки timm. Это только image tower: вариант gap использует глобальное усреднение признаков и не содержит головы attention pooling. Модель обучена на наборе данных WebLI. Модель предназначена для извлечения признаков изображений и построения визуальных представлений, которые можно использовать в системах поиска и сопоставления изображений. Метаданные указывают задачу image-feature-extraction; веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

Это модель компьютерного зрения на архитектуре Vision Transformer (ViT), опубликованная Ross Wightman в библиотеке timm на основе весов авторов исследований. Она предварительно обучена на ImageNet-21k и дообучена для классификации изображений на ImageNet-1k с дополнительной аугментацией и регуляризацией. Модель содержит 5,7 млн параметров, рассчитана на изображения размером 224 × 224 и требует около 1,1 GMAC на обработку изображения. Модель подходит для классификации изображений по категориям ImageNet и может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. Это компактная модель для сценариев, где важны скорость и небольшой размер, хотя её возможности и точность могут уступать более крупным ViT. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0.

XCiT Medium 24 P16 224 fb_in1k — модель классификации изображений и извлечения признаков семейства Cross-Covariance Image Transformer. Она предварительно обучена авторами статьи на ImageNet-1k; репозиторий распространяет веса в форматах PyTorch и Safetensors и предназначен для использования через библиотеку timm. Модель содержит 84,4 млн параметров, обрабатывает изображения размером 224 × 224 и может применяться как для классификации, так и для получения векторных представлений изображений. Она подходит для распознавания объектов из классов ImageNet-1k и как визуальная основа в прикладных системах компьютерного зрения. Метаданные указывают лицензию Apache-2.0.

Это веса визуального энкодера AIM-v2 large с патчами 14×14, обученного на разрешении 448 пикселей и совместимого с библиотекой timm. Репозиторий предоставляет модель для извлечения признаков изображений, например для получения визуальных представлений, которые можно использовать в последующих задачах компьютерного зрения. Модель принимает изображения и выдаёт векторные признаки. В карточке не приведены сведения о точном числе параметров, поддерживаемых языках или конкретных сценариях применения. Лицензия — Apple ASCL.

BEiT-3 — модель классификации изображений и извлечения визуальных признаков из семейства BEiT, представленная в библиотеке timm. Она предварительно обучалась на изображениях ImageNet-22k, текстовых документах и крупномасштабных парах изображение–текст с помощью masked data modeling, с фильтрацией данных по предметной области, а затем дообучалась на ImageNet-22k и ImageNet-1k. В этой версии модель преобразована для задач классификации только по изображению. Модель содержит 86,7 млн параметров, обрабатывает изображения размером 224 × 224 и может использоваться как визуальный backbone, для классификации, извлечения карт признаков и получения эмбеддингов изображений. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Карточка не приводит количественных оценок качества или отдельных ограничений применения.

BEiT Base Patch16 224 — модель классификации изображений и визуальный backbone из семейства BEiT, опубликованная командой timm. Она предварительно обучена на ImageNet-22k методом masked image modelling с визуальным токенизатором DALL-E dVAE, а затем дообучена на ImageNet-22k. Модель основана на Vision Transformer с патчами 16×16 и рассчитана на изображения размером 224×224 пикселя; содержит около 102,6 млн параметров. Модель подходит для классификации изображений по категориям ImageNet-22k и получения визуальных признаков для downstream-задач. Веса доступны в форматах PyTorch и safetensors, библиотека для работы — timm. Лицензия Apache-2.0. Классификация и качество признаков зависят от соответствия входных изображений распределению обучающих данных; README описывает разрешение 224×224.

caformer_m36.sail_in1k — модель классификации изображений семейства CAFormer и архитектуры MetaFormer, опубликованная авторами статьи о базовых архитектурах MetaFormer для компьютерного зрения. Она обучена на ImageNet-1k и предназначена для классификации изображений, а также может использоваться как backbone для извлечения карт признаков и получения эмбеддингов изображений. Модель содержит 56,2 млн параметров, рассчитана на изображения размером 224 × 224 и требует 13,3 GMACs на проход. Репозиторий предоставляет веса в форматах PyTorch и Safetensors; использовать модель можно через библиотеку timm. Лицензия — Apache-2.0. Обучение на ImageNet-1k задаёт область распознавания классов этого набора данных; качество на других задачах и типах изображений может отличаться.

timm/cait_xs24_384.fb_dist_in1k — модель классификации изображений семейства CaiT (Class-Attention in Image Transformers), подготовленная авторами статьи и опубликованная в экосистеме timm. Она обучена на ImageNet-1k с дистилляцией и может использоваться как для классификации изображений, так и в качестве визуального backbone для получения признаковых представлений. Модель содержит 26,7 млн параметров, рассчитана на изображения размером 384 × 384 и имеет лицензию Apache-2.0. Модель подходит для определения объектов и категорий на изображениях, а также для извлечения признаков в компьютерном зрении. Карточка указывает вычислительную стоимость 19,3 GMACs. Это визуальная модель: она принимает изображения и возвращает классы либо эмбеддинги. Языковые возможности не заявлены.

EIDORA/CLIP_VITB32 — лёгкая модель для получения векторных представлений изображений. Пакет разработан EIDORA на основе оригинальной модели OpenAI CLIP ViT-B/32 и экспортирован в формат ONNX для выполнения через ONNX Runtime. Модель предназначена для быстрого визуального группирования, поиска, извлечения похожих изображений, построения карт обнаружения и других embedding-сценариев, особенно на ноутбуках и в крупных проектах с первичной обработкой коллекций. Модель принимает изображение и возвращает нормализованный float32-вектор размерности 512, предназначенный для сравнения по cosine similarity. Используется центральное кадрирование, масштабирование значений на 1/255 и нормализация внутри ONNX-графа. К сильным сторонам относятся небольшой размер загрузки, низкое потребление памяти и высокая скорость работы на CPU. Ограничения включают меньшую пригодность для тонкого визуального сходства и специализированных предметных областей, а также возможное отражение смещений веб-данных, на которых обучалась исходная CLIP. Результаты сходства не следует использовать как единственное доказательство идентичности, авторства, намерений или чувствительных атрибутов. Пакет распространяется по лицензии MIT; EIDORA является разработчиком ONNX-конвертации, а не исходной модели.

coatnet_rmlp_1_rw_224.sw_in1k — модель классификации изображений из библиотеки timm, обученная Ross Wightman на ImageNet-1k. Это вариант CoAtNet с блоками свёртки MBConv на ранних этапах и блоками self-attention на более поздних; в нём также используется MLP Log-CPB — смещение относительных позиций, основанное на логарифмических координатах и мотивированное Swin Transformer V2. Версия с суффиксом rw содержит настройки timm, рассчитанные на работу в PyTorch. Модель принимает изображения размером 224 × 224 и относит их к классам ImageNet-1k. Её также можно использовать как основу для извлечения признаков и получения эмбеддингов изображений. Веса доступны в форматах PyTorch и safetensors; число параметров — 41,7 млн, вычислительная сложность — 7,8 GMACs. Модель распространяется по лицензии Apache-2.0. Модель предназначена для классификации изображений общего назначения и может служить визуальным backbone для систем компьютерного зрения. Её классы и качество связаны с ImageNet-1k, поэтому для задач с другой предметной областью может потребоваться адаптация; приведённые характеристики не гарантируют качество на произвольных данных.

convnext_base.clip_laion2b_augreg_ft_in12k — визуальный энкодер семейства ConvNeXt, опубликованный Ross Wightman в библиотеке timm. Это image tower модели CLIP: веса предварительно обучены на LAION-2B в OpenCLIP, затем дообучены для классификации изображений на ImageNet-12k. Модель насчитывает около 99,7 млн параметров и рассчитана на изображения размером 256 × 256 пикселей. Модель предназначена для классификации изображений, извлечения признаковых карт и получения векторных представлений изображений. Её можно применять как визуальный backbone в задачах компьютерного зрения и переноса обучения. Карточка приводит результаты классификации на наборе сравнения timm, но не описывает языковой ввод или текстовую генерацию. Модель распространяется по лицензии Apache-2.0. Качество и скорость зависят от оборудования и настроек инференса; приведённые в карточке показатели скорости измерялись на RTX 3090 с PyTorch 1.13 и AMP.

timm/convnext_base.fb_in22k — сверточная модель семейства ConvNeXt для классификации изображений, опубликованная авторами статьи «A ConvNet for the 2020s» и доступная через библиотеку timm. Модель предварительно обучена на ImageNet-22k; в карточке указано около 110 млн параметров и рекомендуемый размер входного изображения 224 × 224 пикселя. Модель предсказывает классы изображений и может использоваться как backbone для извлечения карт признаков и эмбеддингов изображений. Это позволяет применять её для классификации и как визуальный компонент более крупных систем компьютерного зрения. Репозиторий содержит веса PyTorch и SafeTensors; лицензия — Apache-2.0. Модель работает с изображениями и выдаёт метки классов либо признаки и эмбеддинги. Карточка не описывает поддержку естественного языка, поэтому она подходит для визуальных задач общего назначения, а не для текстовых или мультимодальных сценариев.

Это веса только визуального энкодера CLIP на базе ConvNeXt Large с MLP-головой, опубликованные в библиотеке timm. Модель предназначена для извлечения признаков изображений и получения векторных представлений для последующего поиска или сравнения изображений. В названии указаны обучение на LAION-2B и режим аугментации AugReg. Репозиторий содержит веса PyTorch в формате safetensors и использует Apache License 2.0. Карточка не сообщает размер модели, контекст или языки; языковые возможности текстового энкодера отсутствуют, поскольку опубликован только энкодер изображений.

convnext_large_mlp.clip_laion2b_soup_ft_in12k_320 — визуальная модель семейства ConvNeXt, опубликованная Ross Wightman в timm. Это визуальная башня CLIP, предварительно обученная OpenCLIP на наборе LAION-2B, а затем адаптированная для классификации изображений на ImageNet-12k. Модель содержит 216,8 млн параметров и рассчитана на изображения размером 320 × 320 пикселей. Модель предназначена для классификации изображений, извлечения карт признаков и получения векторных представлений изображений. Такие представления можно использовать как основу для переноса обучения и других задач компьютерного зрения. В README не указаны языки, поскольку модель обрабатывает изображения и не принимает текст. Репозиторий распространяется по лицензии Apache-2.0. Объём вычислений составляет 70,2 GMACs; для работы с изображениями требуется учитывать вычислительные затраты модели.

Это визуальная модель семейства ConvNeXt, подготовленная Россом Уайтманом и распространяемая в библиотеке timm. Визуальная башня CLIP предварительно обучена в OpenCLIP на LAION-2B, затем модель дообучена последовательно на ImageNet-12k и ImageNet-1k для классификации изображений. Модель содержит около 200,1 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Она предсказывает классы изображений, а также может служить визуальным backbone для извлечения карт признаков и эмбеддингов. В карточке приведены результаты на ImageNet-1k, включая точность top-1 и top-5. Модель принимает изображения и выдаёт метки классов либо визуальные признаки и эмбеддинги. Лицензия — Apache-2.0. Карточка не описывает поддержку естественного языка как входа для классификации и не приводит специальных ограничений помимо вычислительной стоимости крупной модели.

ConvNeXt Nano — сверточная модель классификации изображений, обученная Россом Уайтманом в библиотеке timm на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом. Модель предварительно обучена с оптимизатором AdoptW и может использоваться как классификатор или основа для извлечения карт признаков и эмбеддингов изображений. Модель содержит 22,5 млн параметров, рассчитана на изображения размером 384 × 384 пикселя и требует около 7,2 GMACs на обработку изображения. Форматы весов в репозитории — PyTorch и safetensors. Для применения нужны изображения; результатами могут быть классовые оценки, признаки или эмбеддинги. Лицензия — Apache-2.0.

convnext_pico_ols.d1_in1k — компактная свёрточная модель классификации изображений из семейства ConvNeXt. Её обучил Ross Wightman с помощью библиотеки timm на ImageNet-1k; модель содержит 9,1 млн параметров и предназначена также для использования в качестве основы извлечения признаков и получения эмбеддингов изображений. Модель принимает изображения: для обучения использовался размер 224 × 224 пикселя, для тестирования — 288 × 288. Она предсказывает классы объектов из ImageNet-1k. В README также приведены сценарии извлечения карт признаков и эмбеддингов; вычислительная сложность указана как 1,4 GMACs. Модель распространяется по лицензии Apache-2.0. Её обучение и описание ориентированы на ImageNet-1k, поэтому пригодность для других наборов классов и типов изображений зависит от задачи и может потребовать дообучения.

ConvNeXt-V2 Huge — модель классификации изображений и извлечения визуальных признаков из семейства ConvNeXt-V2, опубликованная в timm. Она предварительно обучена методом FCMAE и затем дообучена на ImageNet-22k и ImageNet-1k. Модель содержит около 660,3 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель подходит для классификации изображений по категориям ImageNet, а также для извлечения карт признаков и эмбеддингов, которые можно использовать в компьютерном зрении. В таблице результатов README указана точность top-1 88,668% и top-5 98,738% на ImageNet-1k. Это крупная вычислительно требовательная модель; карточка не описывает её как мультимодальную или предназначенную для обработки текста. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Для коммерческого применения требуется проверить условия лицензии и получить необходимые разрешения.

ConvNeXt-XXLarge — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Её разработал Ross Wightman: веса визуального блока CLIP предварительно обучены в OpenCLIP на LAION-2B, затем модель дообучена на ImageNet-12k. В карточке указаны 879,7 млн параметров и типичный размер изображения 256 × 256 пикселей. Модель можно применять для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. В таблице сравнения для варианта с разрешением 256 указаны точности top-1 88,612% и top-5 98,704%. Модель принимает изображения и выдаёт классы либо визуальные признаки и эмбеддинги. Репозиторий предоставляет веса PyTorch и safetensors; лицензия — Apache-2.0. Карточка не приводит ограничений по применению или поддерживаемых текстовых языков.

CPUBone B3 — модель классификации изображений и извлечения признаков из семейства CPUBone, разработанная авторами соответствующей научной работы и преобразованная в формат state-dict библиотеки timm. Архитектура сочетает варианты grouped MBConv, уменьшенные свёрточные ядра и механизм внимания LowFormer в двух последних стадиях. Модель обучена на ImageNet-1k и принимает изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по классам ImageNet-1k, получения эмбеддингов и извлечения многомасштабных карт признаков. CPUBone спроектирована для эффективного вывода на CPU: она балансирует небольшое число операций с производительностью исполнения на аппаратуре с ограниченными возможностями параллелизма. Чекпойнт содержит 40,7 млн параметров и требует 4,1 GMACs. Качество и задержка на CPU зависят от оборудования, среды выполнения, способа экспорта и размера пакета; приведённые в карточке измерения относятся к конкретной методике и устройствам. Лицензия — Apache 2.0.

CrossViT 9/240 — модель классификации изображений и визуальный backbone семейства CrossViT, обученная авторами статьи на ImageNet-1k. Она предназначена для распознавания объектов на изображениях и извлечения визуальных признаков для последующих задач компьютерного зрения. Модель содержит около 8,6 млн параметров, обрабатывает изображения размером 240 × 240 пикселей и имеет вычислительную сложность около 1,8 GMACs. Архитектура CrossViT использует перекрёстное внимание между представлениями разных масштабов. Доступны веса в форматах PyTorch и safetensors; библиотека для работы с моделью — timm. Модель может служить компактным классификатором или основой для получения эмбеддингов изображений. Она обучена на ImageNet-1k, поэтому её распознавание ориентировано на классы этого набора данных; карточка не сообщает о поддержке других модальностей или языковых задач. Лицензия — Apache-2.0.

deit_small_patch16_224.fb_in1k — модель классификации изображений семейства DeiT, обученная авторами статьи на ImageNet-1k. Она также подходит как визуальный backbone для получения признаковых представлений изображений. Модель построена на архитектуре Vision Transformer с патчами 16×16 и рассчитана на изображения размером 224×224 пикселя. В ней 22,1 млн параметров; вычислительная сложность составляет 4,6 GMACs. Репозиторий предоставляет веса в форматах PyTorch и safetensors и предназначен для использования с библиотекой timm. Модель можно применять для классификации изображений и извлечения визуальных признаков, в том числе в экспериментах и конвейерах компьютерного зрения. Она обучена на ImageNet-1k, поэтому её классификационные возможности ориентированы на категории этого набора данных. Лицензия — Apache-2.0.

Это преобразованная версия DINOv2 ViT-L/14, подготовленная Eugenehp для библиотеки RLX: веса из исходного чекпойнта переложены в формат RLX meta layout и опубликованы в вариантах safetensors, включая файл с ключами Hugging Face. Модель предназначена для извлечения признаков изображений и запуска через компонент rlx-dinov2. В репозитории также указан формат GGUF F16. Лицензия — Apache-2.0. Карточка не сообщает размер модели, поддерживаемые языки и ограничения качества; DINOv2 принимает изображения и выдаёт визуальные признаки.

zeromodels/dinov2-large — конверсия модели DINOv2 Large от Facebook AI Research в формат Keras 3, подготовленная для проекта zeromodels. Это самообучаемый визуальный энкодер на архитектуре ViT, который возвращает токены патчей и извлекает переносимые признаки изображений без необходимости в разметке. Его используют как основу для последующих задач компьютерного зрения, подключая классификаторы и другие целевые головы. Модель предназначена для извлечения визуальных признаков в TensorFlow, Torch и JAX через реализацию Keras 3. Лицензия — Apache 2.0. Для корректной предобработки README рекомендует учитывать нормализацию, выполняемую процессором: не применять её повторно либо подавать исходные пиксели в диапазоне 0–255 с включённой нормализацией.

facebook/dinov2-small — небольшая модель Vision Transformer, обученная командой DINOv2 методом самообучения на большом наборе изображений. Это энкодер изображений с архитектурой ViT и примерно 28,3 млн параметров; специализированных дообученных классификационных голов в модели нет. Модель предназначена для извлечения визуальных признаков и получения представления изображения для последующих задач. Эти признаки можно использовать, например, как вход для отдельного классификатора, обученного на размеченных изображениях. Модель принимает изображения и выдаёт векторные представления; для работы предусмотрены PyTorch и safetensors. Модель опубликована под лицензией Apache-2.0. Она не решает конкретную задачу классификации без дополнительной обученной головы, а качество на прикладных задачах зависит от последующего классификатора и данных.

Это крупная модель Vision Transformer (ViT) семейства DINOv2 с register-токенами, разработанная командой DINOv2; карточка на Hugging Face подготовлена командой Hugging Face. Модель содержит около 1,5 млрд параметров и предназначена для классификации изображений на 1000 классов ImageNet, а также для извлечения признаковых представлений изображений для последующих задач машинного обучения. Модель использует энкодер Transformer и регистры, добавленные при предобучении для уменьшения артефактов в картах внимания и улучшения их интерпретируемости. Веса доступны в формате safetensors. Специализированной тонко настроенной классификационной головы нет. Лицензия — Apache-2.0.

zeromodels публикует конверсию DINOv3 ConvNeXt-Tiny в формате Keras 3 — самообучаемую визуальную основу, преобразующую изображения в признаки для последующих задач компьютерного зрения. Модель не содержит специализированной головы для конкретной задачи; полученные признаки можно использовать с отдельными классификаторами и другими downstream-компонентами. Репозиторий заявляет совместимость одной реализации с TensorFlow, Torch и JAX. Для обработки изображения предусмотрен процессор с нормализацией. Модель основана на facebook/dinov3-convnext-tiny-pretrain-lvd1689m; исходные веса Meta распространяются по лицензии DINOv3, указанной в Hub как other. README отсылает к лицензии DINOv3 для условий использования.

facebook/dino-vits16 — небольшая модель Vision Transformer (ViT), обученная методом DINO командой, представившей работу «Emerging Properties in Self-Supervised Vision Transformers». Это трансформерный энкодер изображений с 28,3 млн параметров, предварительно обученный без учителя на ImageNet-1k. Изображение размером 224×224 разбивается на патчи 16×16, которые кодируются как последовательность токенов с абсолютными позиционными эмбеддингами и токеном CLS. Модель предназначена для извлечения признаков изображений и последующего применения в задачах компьютерного зрения. Её представления можно использовать для обучения классификатора или других задач на размеченных данных; готовой дообученной классификационной головы в чекпойнте нет. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.