I.8Изображения и компьютерное зрение

Это визуальный энкодер timm на архитектуре Vision Transformer Huge с патчами 16×16 из семейства DINOv3. Модель содержит около 840,5 млн параметров, принимает изображения размером 256×256 и извлекает визуальные признаки и эмбеддинги для последующих задач компьютерного зрения. Модель дистиллирована на наборе LVD-1689M из DINOv3 ViT-7B. Её можно использовать для извлечения карт признаков и эмбеддингов, а также как основу для классификации изображений, сегментации и анализа сцен. В README приведены результаты оценок моделей DINOv3, однако отдельные показатели именно этой конфигурации не приведены. README отмечает особенности реализации RoPE и отключённые смещения QKV; возможны небольшие численные расхождения с оригинальной реализацией. В метаданных указана лицензия `other`, а README называет лицензию DINOv3, поэтому перед использованием следует проверить её условия.

Это модель визуального энкодера CLIP из семейства timm: веса архитектуры ViT-Large с патчами 14×14, рассчитанной на изображения размером 224×224 пикселя. В репозитории представлены только веса image encoder, без текстового энкодера CLIP. Модель предназначена для извлечения признаковых векторов изображений, например, для поиска похожих изображений, сравнения визуального содержимого и построения систем поиска по изображениям. Она принимает изображения и выдаёт векторные представления; для сопоставления изображений с текстом потребуется отдельный текстовый энкодер с совместимым пространством признаков. Модель разработана для timm и распространяется по лицензии Apache-2.0. Карточка не сообщает специальных ограничений применения или языковых возможностей; текстовый ввод в репозитории отсутствует.

Это модель классификации изображений на базе Vision Transformer (ViT), опубликованная в библиотеке timm. Веса предварительно обучены OpenAI с помощью CLIP на парах изображение–текст WIT-400M, а затем дообучены в timm на ImageNet-12k и ImageNet-1k. Модель содержит около 304,2 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальная основа для извлечения признаков и эмбеддингов изображений. Её можно применять для распознавания объектов и категорий на фотографиях, а также для построения систем поиска и анализа изображений на основе визуальных представлений. Репозиторий содержит веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель принимает изображения и выдаёт классы или признаки; языковая генерация и обработка текста не являются её задачами.

vit_large_patch14_reg1_tipsv2.webli — визуальный энкодер на основе Vision Transformer, опубликованный в библиотеке timm. Модель извлекает признаки изображений и предназначена для получения эмбеддингов и карт признаков, а также использования в задачах классификации. Она содержит 304 млн параметров, обрабатывает изображения размером 448 × 448 и использует register-токен. Модель дистиллирована из учителя ViT-g/14 TIPSv2 с помощью выравнивания признаков патчей на отфильтрованной подвыборке WebLI из 116 млн изображений. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Энкодер принимает изображения и выдаёт векторные признаки. Описанные материалы не указывают дополнительные языковые или мультимодальные возможности.

Это преобразованный в формат Keras 3 чекпойнт ViT-Large от zeromodels, основанный на timm/vit_large_patch16_224.augreg_in21k_ft_in1k. Модель разбивает изображение на патчи 16×16 и обрабатывает их трансформерным энкодером; входной размер варианта — 224×224 пикселя. Чекпойнт предназначен для классификации изображений и извлечения визуальных признаков. Модель принимает изображения и может работать через TensorFlow, PyTorch или JAX. Классификационная оболочка возвращает логиты классов, а режим backbone — токены и признаки блоков. Обучение базовой модели включало ImageNet-21k и дообучение на ImageNet-1k. Репозиторий распространяется по лицензии Apache-2.0.

Это модель Vision Transformer для классификации изображений и извлечения визуальных признаков, разработанная Россом Уайтманом в библиотеке timm. Вариант ViT использует патчи 16×16 и глобальное усреднение токенов; число параметров — 39 млн, рекомендуемый размер изображения — 384×384. Модель предварительно обучена на ImageNet-12k, а затем дообучена на ImageNet-1k. Её можно применять для классификации изображений по классам и получать эмбеддинги изображений для последующих задач компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.

timm/vit_small_plus_patch16_dinov3_qkvb.lvd1689m — визуальный энкодер семейства DINOv3 на архитектуре ViT, распространяемый разработчиками PyTorch Image Models (timm). Модель ViT-S+/16 содержит 28,7 млн параметров и обрабатывает изображения размером 256 × 256 пикселей. Её дистиллировали на датасете LVD-1689M из DINOv3 ViT-7B. Модель предназначена для извлечения признаков и эмбеддингов изображений, а также может служить визуальным представлением для задач классификации и плотного анализа изображений. В варианте qkvb смещения QKV-проекций включены, но их значения равны нулю. Реализация timm использует float32 для периодов RoPE, тогда как исходные веса хранят их в bfloat16; из-за этого возможны небольшие численные расхождения с оригиналом. Лицензия указана как DINOv3 в карточке модели, а метаданные Hugging Face обозначают её как other. Языковая поддержка не относится к основной функции модели: на вход она принимает изображения, на выходе формирует признаки и эмбеддинги.

Модель timm/vit_so400m_patch16_siglip_512.v2_webli — визуальный энкодер SigLIP 2 на архитектуре ViT, предназначенный для библиотеки timm. Это только image encoder, соответствующий визуальной части модели SigLIP 2; он обучен на наборе данных WebLI. Модель преобразует изображения в признаки и подходит для извлечения визуальных представлений, например, для последующего сравнения или поиска изображений.

Wide ResNet-101-2 — сверточная модель классификации изображений и извлечения визуальных признаков из семейства Wide Residual Networks, опубликованная в timm. Модель содержит 126,9 млн параметров; в карточке указаны активации ReLU, начальная свёртка 7×7 с пулингом и проекции 1×1 в обходных соединениях. Она обучена на ImageNet-1k в torchvision с рецептами обучения версии 2. Модель предназначена для классификации изображений по классам ImageNet-1k, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Размер изображения при обучении — 176×176, при тестировании — 224×224; вычислительная сложность составляет 14,3 GMACs. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — BSD-3-Clause.

Модель timm/aimv2_1b_patch14_224.apple_pt — веса визуального энкодера AIM-v2, совместимые с библиотекой timm. Она предназначена для извлечения признаков из изображений, например для получения векторных представлений, которые можно использовать в последующих задачах компьютерного зрения. В метаданных указаны форматы PyTorch и safetensors и лицензия apple-ascl. Карточка не содержит сведений о размере модели, обучении, поддерживаемых языках или ограничениях применения.

Это веса визуального энкодера AIM-v2 huge с размером патча 14 и входным разрешением 448 пикселей, опубликованные в формате, совместимом с библиотекой timm. Модель предназначена для извлечения признаковых представлений изображений, которые можно использовать в качестве входа для поиска по изображениям, кластеризации или последующих задач компьютерного зрения. Карточка не сообщает разработчика исходной архитектуры, число параметров, поддерживаемые языки или лицензионные условия сверх обозначения лицензии apple-ascl в метаданных. Доступны веса PyTorch и safetensors. Это визуальный энкодер: он принимает изображения и выдаёт признаки; текстовые задачи и генерация изображений не заявлены.

BEiT-3 large — модель классификации изображений и визуальная backbone-модель, опубликованная в коллекции timm. Изначально мультимодально предобучалась на изображениях ImageNet-22k, текстовых документах объёмом 160 ГБ и крупномасштабных парах изображение–текст с помощью masked data modeling и фильтрации данных по предметной области, а затем дообучалась на ImageNet-22k и ImageNet-1k. Репозиторий содержит преобразованную версию для задач классификации только по изображениям. Модель имеет 304,6 млн параметров, обрабатывает изображения размером 224 × 224 и может использоваться для классификации, извлечения карт признаков и получения эмбеддингов изображений. В карточке Hugging Face указана библиотека timm, веса представлены в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

BEiT-v2 Base — модель классификации изображений и визуальный backbone из библиотеки timm. Она обучена на ImageNet-1k с помощью самоконтролируемого masked image modeling: VQ-KD-энкодер, использующий визуальный токенизатор на основе учителя OpenAI CLIP B/16, формирует целевые представления. Затем модель дообучена на ImageNet-22k и ImageNet-1k. Модель содержит 86,5 млн параметров, использует архитектуру Vision Transformer с патчами 16×16 и рассчитана на изображения 224×224. Основной сценарий — классификация изображений; представления модели также можно использовать как визуальные эмбеддинги для downstream-задач компьютерного зрения. В карточке приведены код для классификации и извлечения эмбеддингов. Модель работает с изображениями и не предназначена для обработки естественного языка или генерации контента. Результаты зависят от соответствия входных изображений обучающим данным и настроек предобработки. Лицензия — Apache-2.0.

BEiT-v2 Large — модель классификации изображений из библиотеки timm, обученная на ImageNet-1k. Сначала она обучалась с помощью самоконтролируемого masked image modeling: визуальный токенизатор VQ-KD использовал учителя OpenAI CLIP B/16; затем модель дообучили для классификации на ImageNet-1k. Модель на основе Vision Transformer с патчами 16×16 рассчитана на изображения размером 224×224. В ней около 304,4 млн параметров; она предсказывает классы изображений и может использоваться как основа для извлечения визуальных признаков и эмбеддингов. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель предназначена для классификации изображений общего назначения, а её обучение и настройка на ImageNet-1k могут ограничивать точность на изображениях и классах, отличающихся от этого набора данных.

CoAtNet-0 RW 224 SW IN1K — модель классификации изображений из библиотеки timm, обученная Ross Wightman на ImageNet-1k. Архитектура CoAtNet сочетает блоки свёрток MBConv на ранних этапах с блоками self-attention на последующих. Модель также подходит как основа для извлечения карт признаков и эмбеддингов изображений. Модель содержит 27,4 млн параметров, рассчитана на изображения размером 224 × 224 и требует около 4,4 GMACs на обработку. Она выдаёт метки классов ImageNet-1k и может использоваться в прикладных системах распознавания изображений или как визуальный бэкбон. Качество и поведение на данных, отличающихся от ImageNet-1k, могут требовать дополнительной проверки или дообучения. Лицензия — Apache-2.0.

ConvFormer S36 — модель классификации изображений и извлечения визуальных признаков из семейства MetaFormer. Её разработали авторы статьи «Metaformer baselines for vision»; модель предварительно обучена на ImageNet-22k и дообучена на ImageNet-1k. Модель содержит 40 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Её можно применять для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов; для загрузки и использования предусмотрена библиотека timm. Репозиторий распространяется по лицензии Apache-2.0. Описание не сообщает о специализированных предметных областях или поддержке языковых входов.

ConViT Tiny fb_in1k — модель для классификации изображений и извлечения визуальных признаков из семейства ConViT, опубликованная авторами статьи и обученная на ImageNet-1k. Она сочетает свёрточные индуктивные смещения с архитектурой Vision Transformer и содержит около 5,7 млн параметров. Модель рассчитана на изображения размером 224 × 224 пикселя. Её можно использовать для отнесения изображения к классу ImageNet-1k или как основу для получения эмбеддингов изображений. В README указаны вычислительные характеристики: 1,3 GMAC и 7,9 млн активаций. Модель принимает изображения и выдаёт метки классов либо векторные признаки. Она предназначена для задач компьютерного зрения общего назначения; сведения о поддержке естественных языков неприменимы. Лицензия — Apache-2.0.

timm/convnext_base.eupe_lvd1689m — визуальный энкодер признаков на архитектуре ConvNeXt Base из библиотеки PyTorch Image Models (timm). Модель разработана с использованием метода Efficient Universal Perception Encoder и дистиллирована на наборе LVD-1689M от прокси-учителя, который, в свою очередь, обучался с помощью нескольких специализированных визуальных энкодеров. В карточке указано 87,6 млн параметров и размер входного изображения 256 × 256 пикселей. Модель преобразует изображения в эмбеддинги и карты признаков для последующего применения в классификации изображений и других задачах компьютерного зрения. Она рассчитана на визуальное представление объектов и сцен, а не на генерацию текста или изображений. Для обучения использован LVD-1689M. Лицензия FAIR Noncommercial Research License разрешает некоммерческое использование в исследовательских целях.

ConvNeXt-V2 Large — свёрточная модель для классификации изображений и извлечения визуальных признаков, опубликованная в библиотеке timm. Она предварительно обучена методом FCMAE (fully convolutional masked autoencoder), а затем дообучена на ImageNet-22k и ImageNet-1k. Модель содержит около 198 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель предназначена для присвоения изображениям меток классов, получения карт признаков и визуальных эмбеддингов. Её можно использовать как основу для систем распознавания объектов и категоризации изображений. В README приведены результаты на ImageNet, включая точность top-1 85,8% и top-5 97,9%. Для использования весов действует лицензия CC BY-NC 4.0, которая ограничивает коммерческое применение.

CrossViT Small 240 — модель классификации изображений и извлечения визуальных признаков, обученная авторами статьи на ImageNet-1k. Она построена на архитектуре CrossViT, которая использует трансформер с перекрёстным вниманием для объединения признаков разных масштабов. Модель содержит 26,9 млн параметров, выполняет 5,6 GMACs и рассчитана на изображения размером 240 × 240 пикселей. Модель подходит для классификации изображений по классам ImageNet-1k и получения эмбеддингов изображений в качестве признаков для последующих задач компьютерного зрения. Она принимает изображения и выдаёт предсказанные классы либо визуальные признаки. Репозиторий содержит веса PyTorch и Safetensors и использует библиотеку timm. Лицензия — Apache-2.0.

DeiT Tiny Patch16 224 fb_in1k — модель классификации изображений из семейства Data-efficient Image Transformers (DeiT), выпущенная авторами соответствующей научной работы и обученная на ImageNet-1k. Она доступна через библиотеку timm и предназначена для классификации изображений и использования в качестве визуального backbone для получения признаков. Модель содержит около 5,7 млн параметров, обрабатывает изображения размером 224 × 224 и имеет вычислительную сложность около 1,3 GMAC. Её можно применять для предсказания классов ImageNet-1k и извлечения визуальных признаков. Лицензия репозитория — Apache-2.0.

DenseNet-121 — сверточная модель классификации изображений из библиотеки timm. Ross Wightman обучил её на ImageNet-1k с рецептом RandAugment (RA); модель также подходит как базовая сеть для извлечения карт признаков и эмбеддингов изображений. Веса доступны в форматах PyTorch и Safetensors, лицензия — Apache-2.0. Модель содержит около 8 млн параметров и рассчитана на изображения размером 224 × 224 при обучении и 288 × 288 при проверке. Она предназначена для отнесения изображений к классам ImageNet-1k и может использоваться как визуальный backbone в компьютерном зрении. Карточка не приводит оценок качества и не описывает поддержку других наборов классов без дополнительной настройки.

timm/densenet161.tv_in1k — сверточная модель DenseNet-161 для классификации изображений и извлечения визуальных признаков. Она обучена на ImageNet-1k с исходными весами torchvision и распространяется библиотекой timm. Модель содержит около 28,7 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для классификации изображений по категориям ImageNet, извлечения карт признаков и получения векторных представлений изображений. В репозитории доступны веса PyTorch и Safetensors; лицензия — Apache-2.0. Карточка не сообщает оценок качества на конкретных наборах данных, поэтому применение на изображениях вне ImageNet может потребовать адаптации.

facebook/dinov2-with-registers-small — небольшая модель Vision Transformer (ViT), опубликованная командой DINOv2 и представленная в работе «Vision Transformers Need Registers» Дарсе и соавторов. Это предварительно обученный визуальный энкодер без настроенных под конкретные задачи выходных голов; в репозитории используются веса Safetensors, библиотека Transformers, размер модели — 28,3 млн параметров. Модель предназначена для извлечения признаков и эмбеддингов изображений, которые можно использовать в последующих задачах компьютерного зрения. Например, поверх представления токена [CLS] можно обучить линейный классификатор для размеченного набора изображений. Добавленные при обучении register-токены помогают уменьшить артефакты на картах внимания и делают их более интерпретируемыми. Модель принимает изображения и выдаёт их векторные представления. В карточке не заявлена поддержка текстового ввода или других модальностей. Модель распространяется по лицензии Apache-2.0. Для решения прикладных задач вроде классификации потребуется обучить соответствующую голову или выбрать дообученную версию; сама модель таких голов не содержит.

facebook/dinov3-vitb16-pretrain-lvd1689m — визуальная модель семейства DINOv3, разработанного Meta AI. Это Vision Transformer с патчами 16×16, предназначенный для извлечения универсальных признаков изображений. Карточка описывает модель ViT-B размером 86 млн параметров; она выдаёт признаки изображения, включая class token, patch tokens и register tokens. Модель работает с изображениями разных размеров, кратных 16 пикселям; другие размеры обрезаются до ближайшего меньшего кратного. Модель обучена на веб-данных LVD-1689M по методу DINOv3 и предназначена как визуальная основа для последующих задач без обязательного дообучения. Её признаки можно применять для классификации и поиска изображений, сегментации, оценки глубины и обнаружения объектов; для отдельных задач нужны классификатор или другая downstream-модель. Формат весов — safetensors, библиотека — Transformers. Лицензия DINOv3 License; в метаданных она обозначена как other. Карточка сообщает о неодинаковых результатах по регионам и категориям дохода, включая снижение качества для группы стран с низким доходом и различие между Европой и Африкой. Дообучение может усилить смещения, связанные с метками обучающих данных.

dla46_c.in1k — компактная модель классификации изображений на основе архитектуры DLA (Deep Layer Aggregation), опубликованная авторами статьи и обученная на ImageNet-1k. Она содержит около 1,3 млн параметров и выполняет примерно 0,6 GMAC операций; стандартный размер входного изображения — 224 × 224 пикселя. Модель предназначена для классификации изображений, а также может использоваться как backbone для извлечения карт признаков и эмбеддингов изображений. Модель принимает изображение и выдаёт метки классов ImageNet-1k. Компактный размер и низкая вычислительная стоимость подходят для классификации и извлечения признаков при ограниченных ресурсах. Лицензия — BSD-3-Clause.

ECA-ResNet-T — свёрточная модель классификации изображений из библиотеки timm, разработанная для распознавания объектов на изображениях. Она обучена на ImageNet-1k по рецепту ResNet Strikes Back A2 и использует Efficient Channel Attention, остаточные связи и ступенчатый ствол из трёх слоёв свёртки 3×3 с пулингом. В модели 25,6 млн параметров и 4,3 GMACs; размер изображения при обучении — 224×224, при тестировании — 288×288 пикселей. Модель подходит для классификации изображений и извлечения признаков, в том числе карт признаков и эмбеддингов, которые можно использовать в последующих компьютерно-зрительных системах. Она принимает изображения и выдаёт метки классов или векторные представления. Обучение на ImageNet-1k ориентирует её на общецелевые категории этого набора данных. Модель распространяется по лицензии Apache-2.0.

EfficientNet-B0 RA4 E3600 R224 IN1K — свёрточная модель классификации изображений, обученная Россом Уайтменом с помощью инструментов timm на ImageNet-1k. Она также может использоваться как основа для извлечения карт признаков и эмбеддингов изображений. Модель содержит 5,3 млн параметров и требует около 0,4 GMAC на изображение. Размер входа при обучении — 224×224 пикселя, при тестировании — 256×256. Модель принимает изображения и выдаёт метки классов; карточка также описывает извлечение признаков и эмбеддингов. Лицензия — Apache-2.0. Модель предназначена для классификации изображений общего назначения и может служить компактной свёрточной основой для компьютерного зрения. Обучение и оценка опираются на ImageNet-1k; заявленная область применения не ограничена конкретным доменом.

FastViT-SA12 Apple ImageNet-1k — модель классификации изображений и извлечения визуальных признаков из семейства FastViT, разработанного авторами соответствующей научной работы. Модель обучена на ImageNet-1k и содержит 11,6 млн параметров; указанное разрешение входного изображения — 256 × 256 пикселей. Архитектура FastViT сочетает свёрточные операции и Vision Transformer и использует структурную репараметризацию. Модель предназначена для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Её можно использовать как визуальную основу для компьютерного зрения; README приводит вычислительные характеристики в 2,0 GMACs и 13,8 млн активаций. Лицензия указана как other в метаданных; README просит соблюдать оригинальную лицензию, поэтому перед использованием следует проверить её условия.

FlexiViT Large 1200 эпох — модель классификации изображений и визуальный backbone семейства Vision Transformer. Её обучили авторы статьи на ImageNet-1k с использованием JAX, затем Ross Wightman перенёс веса в PyTorch. Модель содержит около 304,4 млн параметров и рассчитана на изображения размером 240 × 240 пикселей. Модель предназначена для классификации изображений по классам ImageNet-1k, а также может использоваться как backbone для извлечения признаков и получения эмбеддингов изображений. FlexiViT разработан для работы с разными размерами патчей, что позволяет применять одну модель в сценариях с различными настройками разбиения изображения. Репозиторий содержит веса PyTorch в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Практические результаты зависят от соответствия входных изображений и предобработки настройкам модели; карточка указывает размер изображения 240 × 240.