I.8Изображения и компьютерное зрение

UPAL — модель локальных признаков изображений, разработанная Франсуа Костой, Рафаэлем Крефтом и соавторами. Она совместно обнаруживает ключевые точки и отрезки линий за один проход: предсказывает субпиксельные координаты точек с оценками уверенности, 128-мерные нормализованные дескрипторы, карту вероятности ключевых точек и узлов, а также плотное поле расстояний до линий. Отрезки извлекаются модифицированным LSD-детектором, направляемым найденными точками и картой расстояний. Архитектура включает четырёхуровневый энкодер в стиле ALIKED с деформируемыми свёртками на глубоких уровнях, разреженную голову дескрипторов и декодер поля расстояний. Модель предназначена для сопоставления изображений и локальных признаков, например в задачах геометрического сопоставления сцен. Веса содержат 0,79 млн параметров; библиотека реализации — upal. Чекпойнт дистиллирован из моделей SuperPoint, ALIKED, DaD и DeepLSD. Лицензия — Apache-2.0.

Это модель Vision Transformer для классификации изображений из библиотеки timm. Модель ViT-Base с патчами 16×16 принимает изображения размером 224×224 пикселя; число параметров — 86,6 млн. Она была предварительно обучена авторами работ на ImageNet-21k, затем дообучена Россом Уайтманом на ImageNet-1k с дополнительной аугментацией и регуляризацией. Модель предназначена для присвоения изображению метки класса и может использоваться как визуальный backbone для извлечения признаков и эмбеддингов изображений. Она реализована на PyTorch и доступна в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Карточка не приводит оценки качества или сведений о поддержке иных размеров изображений и наборов классов.

Модель vit_base_patch16_clip_224.openai_ft_in12k_in1k — модель классификации изображений на основе Vision Transformer (ViT), опубликованная в библиотеке timm. Она предварительно обучена OpenAI на парах изображений и текстов WIT-400M с помощью CLIP, а затем дообучена на ImageNet-12k и ImageNet-1k. Модель содержит 86,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения признаков и построения эмбеддингов изображений. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Модель принимает изображения и выдаёт предсказанные классы либо векторные признаки.

Модель vit_base_patch16_clip_384.laion2b_ft_in12k_in1k — визуальный трансформер (ViT) для классификации изображений и извлечения визуальных признаков, опубликованный в библиотеке timm. Она предварительно обучена с помощью OpenCLIP на парах изображение–текст из LAION-2B, а затем дообучена на ImageNet-12k и ImageNet-1k. Модель содержит 86,9 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель подходит для классификации изображений и получения их эмбеддингов в компьютерном зрении. Веса доступны в форматах PyTorch и Safetensors, лицензия — Apache-2.0. Карточка также ссылается на рецепты обучения и воспроизводимые результаты в timm.

vit_base_patch16_siglip_gap_256.webli — визуальный энкодер семейства SigLIP, опубликованный в библиотеке timm. Модель принимает изображения и предназначена для извлечения признаковых представлений; глобальное усреднение признаков (global average pooling) формирует векторное представление изображения. Размер входного изображения — 256 пикселей, патчи — 16 × 16. Модель подходит для получения признаков изображений в конвейерах компьютерного зрения, например для последующей индексации или сравнения изображений. В карточке указана лицензия Apache-2.0. Данные не описывают языковую часть или генерацию текста: это только визуальный энкодер.

Это визуальный энкодер CLIP из библиотеки timm: модель ViT-Huge с патчами 14×14, входным размером изображения 224 пикселя и весами, обученными на LAION-2B. Репозиторий содержит только энкодер изображений, а не полный CLIP с текстовым энкодером. Модель извлекает признаки изображений для построения эмбеддингов и последующего использования в поиске по изображениям, кластеризации или других задачах компьютерного зрения. Для сравнения изображений с текстом потребуется отдельный совместимый текстовый энкодер. Весовые файлы доступны в форматах PyTorch и safetensors по лицензии Apache-2.0.

Это визуальный энкодер CLIP из семейства ViT-Large/14, опубликованный в библиотеке timm. Веса обучены на LAION-2B; модель предназначена для извлечения признаков изображений и получения их представлений для поиска и сопоставления по сходству. Модель принимает изображения и выдаёт векторные признаки. В карточке указаны форматы PyTorch и Safetensors и лицензия Apache-2.0. Это только визуальная часть CLIP: текстовый энкодер и генерация текста в состав репозитория не входят.

Это модель классификации изображений на архитектуре Vision Transformer (ViT), опубликованная командой timm. Модель с 304,2 млн параметров предварительно обучена на парах изображение–текст LAION-2B с помощью OpenCLIP, затем дообучена на ImageNet-12k и ImageNet-1k. Она принимает изображения размером 224 × 224 пикселя и может использоваться как классификатор или как основа для извлечения признаков и эмбеддингов изображений. Модель предназначена для распознавания объектов и других классов изображений, а также для получения визуальных представлений, которые можно применять в последующих задачах компьютерного зрения. Репозиторий использует timm и содержит веса PyTorch в формате safetensors. Лицензия — Apache-2.0.

vit_large_patch14_dinov2.lvd142m — визуальный энкодер Vision Transformer из библиотеки timm, предварительно обученный разработчиками DINOv2 на наборе LVD-142M методом самообучения. Модель содержит около 304,4 млн параметров и рассчитана на обработку изображений размером 518 × 518 пикселей. Модель извлекает признаки и эмбеддинги изображений; эти представления можно использовать для классификации и как визуальный бэкбон в других системах компьютерного зрения. Она не генерирует текст и не предназначена для понимания естественного языка. Для запуска используется библиотека timm; веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

vit_large_patch16_dinov3_qkvb.lvd1689m — визуальный энкодер семейства DINOv3 на архитектуре Vision Transformer с патчами 16×16, опубликованный в timm. Модель содержит 303,1 млн параметров и предназначена для извлечения признаков из изображений; её дистиллировали на наборе LVD-1689M от модели DINOv3 ViT-7B. Указанный размер изображения — 256×256 пикселей. Энкодер можно использовать для получения эмбеддингов и карт признаков, а также как основу для задач классификации и сегментации изображений. Вариант qkvb включает смещения QKV-проекций, значения которых равны нулю; это соответствует поведению исходных моделей и Transformers. В timm периоды RoPE создаются в float32, тогда как оригинальные модели хранят их в bfloat16, поэтому возможны небольшие численные различия. Лицензия обозначена как DINOv3 в карточке модели и как other в метаданных Hugging Face.

Это зрительная модель ViT-S+/16 семейства DINOv3, подготовленная для Apple MLX Framework и опубликованная mlx-vision. Модель обучена в режиме самообучения на наборе LVD-1689M, а её веса дистиллированы от учителя DINOv3 ViT-7B. В репозитории размещён порт весов Meta AI в формате safetensors; классификационная голова не обучалась, поэтому модель предназначена для извлечения признаков изображений, а не для непосредственной классификации. Модель содержит 29 млн параметров, использует патчи размером 16 пикселей, размерность эмбеддинга 384 и блок SwiGLU в FFN. Для изображения 224×224 формируются 201 токен: классовый, четыре регистра и 196 патчей. Поддерживаются изображения большего размера с размерами, кратными 16; неподходящие размеры обрезаются до ближайшего меньшего значения, кратного размеру патча. Полученные признаки можно использовать в системах поиска изображений, классификации, сегментации и других задачах компьютерного зрения. Лицензия указана как other, без подробных условий в предоставленных данных. В README отмечены сохраняющиеся различия качества по географическим регионам и уровням дохода; дообучение может усилить эти смещения.

BEiT Base Patch16 384 — модель семейства BEiT для классификации изображений и извлечения визуальных признаков. Модель разработана авторами BEiT и опубликована в библиотеке timm; она содержит 86,7 млн параметров и обрабатывает изображения размером 384 × 384 пикселя. Предобучение выполнено на ImageNet-22k с помощью masked image modelling: для визуальной токенизации использовался DALL-E dVAE. Затем модель дообучили на ImageNet-22k и ImageNet-1k. Она подходит для классификации изображений и получения эмбеддингов визуального содержимого. Репозиторий распространяет веса в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Это модель для работы с изображениями, а не генератор изображений.

ConvMixer 1536/20 — модель классификации изображений из библиотеки timm, обученная авторами статьи на ImageNet-1k. Она использует архитектуру ConvMixer и предназначена для отнесения изображения к одному из классов; также модель можно использовать как основу для извлечения признаков и эмбеддингов изображений. Модель содержит 51,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Репозиторий содержит веса PyTorch и safetensors. Модель распространяется по лицензии MIT.

Это визуальная модель ConvNeXt Large MLP от timm: веса визуальной башни CLIP, предварительно обученные в OpenCLIP на данных LAION-2B, затем дообучены для классификации ImageNet-12k. Модель содержит около 216,8 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель можно применять для классификации изображений, извлечения карт признаков и получения векторных представлений изображений. Карточка приводит её как классификационный бэкбон и описывает извлечение эмбеддингов; метаданные указывают задачу image-classification. Лицензия — Apache-2.0.

ConvNeXt-V2 Tiny FCMAE — сверточная модель извлечения признаков изображений из семейства ConvNeXt-V2, представленная в библиотеке timm. Она предварительно обучена на ImageNet-1k методом self-supervised обучения с полностью сверточным masked autoencoder (FCMAE). Модель содержит 27,9 млн параметров, рассчитана на изображения размером 224 × 224 и не имеет предварительно обученной классификационной головы. Модель предназначена для извлечения признаков, карт признаков и эмбеддингов изображений, а также для последующего дообучения под задачу классификации. Она принимает изображение и формирует его признаки; сама по себе не выдаёт готовые метки классов без добавления и обучения головы. Для использования весов указана лицензия CC BY-NC 4.0, ограничивающая коммерческое применение.

DeiT-Base с дистилляционным токеном — модель классификации изображений и визуальная основа для извлечения признаков. Она обучена авторами статьи на ImageNet-1k и доступна в библиотеке timm. Модель принимает изображения размером 224 × 224 и содержит 87,3 млн параметров. Модель предназначена для отнесения изображений к классам ImageNet-1k, а также может использоваться для извлечения визуальных эмбеддингов и как backbone в компьютерном зрении. Архитектура использует трансформер DeiT с дистилляцией через attention. В репозитории представлены веса PyTorch и Safetensors. Лицензия — Apache-2.0.

facebook/dinov2-large — большая модель Vision Transformer (ViT), обученная командой DINOv2 методом самообучения на коллекции изображений. Модель содержит около 402,7 млн параметров и представляет собой трансформерный энкодер: изображение разбивается на фиксированные патчи, которые преобразуются в последовательность токенов для обработки. Веса доступны в форматах PyTorch и safetensors по лицензии Apache-2.0. Модель предназначена для извлечения признаков из изображений и построения на их основе решений для последующих задач. Полученные представления можно использовать, например, для обучения классификатора на размеченном наборе данных. В самой модели нет дообученных голов для конкретных задач, поэтому для классификации или других прикладных сценариев потребуется отдельная голова или дополнительное обучение.

facebook/dinov2-with-registers-giant — гигантская модель Vision Transformer семейства DINOv2 с дополнительными register-токенами, опубликованная командой DINOv2; карточку подготовила команда Hugging Face. Это предобученный трансформерный энкодер изображений для извлечения признаков и эмбеддингов. Модель не содержит дообученных классификационных голов, поэтому для классификации или другой целевой задачи обычно требуется отдельная голова или дообученная версия. Вариант с register-токенами предназначен для уменьшения артефактов в картах внимания и получения более интерпретируемых представлений. Число параметров — около 1,5 млрд; модель принимает изображения и выдаёт векторные представления. Лицензия — Apache-2.0. Карточка указывает на применение для извлечения признаков, но не приводит конкретные сведения о поддерживаемых размерах входа или языках.

facebook/dino-vitb16 — модель Vision Transformer базового размера, обученная методом DINO исследовательской командой, представленной в статье Mathilde Caron и соавторов. Это энкодер изображений на 113,2 млн параметров: он разбивает изображение на патчи 16×16 и обрабатывает их трансформерными слоями. Предобучение выполнено без учителя на ImageNet-1k с разрешением 224×224 пикселя. Модель извлекает векторные представления изображений для последующих задач компьютерного зрения. Эти признаки можно использовать, например, для обучения классификатора на размеченных данных. Готовой тонко настроенной классификационной головы в модели нет. Доступны веса PyTorch и TensorFlow; лицензия — Apache-2.0.

zeromodels/dino-vitb8 — преобразованная в формат Keras 3 версия модели facebook/dino-vitb8 от Facebook AI Research. Это Vision Transformer с архитектурой ViT-B/8, обученный методом самообучения DINO: модель сопоставляет представления разных фрагментов одного изображения без использования меток и возвращает токены и карты признаков, а не результаты специализированной классификационной головы. Реализация работает с TensorFlow, PyTorch и JAX. Модель предназначена для извлечения семантических признаков изображений и использования в качестве визуального бэкбона при обучении классификаторов и решении других задач компьютерного зрения. Лицензия — Apache 2.0.

EVA-02 Large Patch14 224 MIM Merged-38M — модель визуальных представлений, опубликованная в формате timm. Это Vision Transformer с усреднением токенов, SwiGLU, Rotary Position Embeddings и дополнительной нормализацией в MLP. Модель содержит около 303,3 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предварительно обучена авторами статьи на объединённом наборе данных Merged-38M, включающем изображения из ImageNet-22K, CC12M, CC3M, COCO, ADE20K, Object365 и OpenImages. Обучение выполнялось методом masked image modeling с EVA-CLIP в роли учителя. Модель предназначена для извлечения визуальных признаков и эмбеддингов, а также может служить основой для задач классификации изображений. Репозиторий содержит веса PyTorch и Safetensors в формате float32; авторы отмечают, что исходные контрольные точки доступны в float16 или bfloat16. Лицензия — MIT. Для использования нужны изображения; модель выдаёт признаки и векторные представления. В README приведены примеры применения для классификации и получения эмбеддингов, но нет сведений о показателях качества именно этой версии.

EVA02 Tiny — компактная модель зрения семейства EVA-02, опубликованная авторами статьи и доступная в формате библиотеки timm. Это визуальный трансформер с размером входного изображения 224 × 224 пикселя, примерно 5,5 млн параметров и вычислительной сложностью около 1,7 GMAC. В архитектуре используются mean pooling, SwiGLU и Rotary Position Embeddings; модель обучена на ImageNet-22k методом masked image modeling с EVA-CLIP в роли учителя. Модель предназначена для извлечения признаков и эмбеддингов изображений, а также может служить основой для классификационных сценариев. Её небольшой размер подходит для визуального поиска, группировки изображений и построения компактных конвейеров компьютерного зрения. В репозитории timm веса сохранены в float32; исходные варианты некоторых чекпойнтов доступны в float16 или bfloat16. Это предобученный чекпойнт, а не описанное в карточке дообучение под конкретный прикладной набор классов. Для классификации под собственные категории потребуется соответствующая настройка или отдельная голова классификации. Лицензия — MIT.

EVA-CLIP — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Чекпойнт опубликован в библиотеке timm; авторы исходной работы предварительно обучили его на LAION-400M с использованием CLIP, а затем дообучили на ImageNet-1k. Архитектура включает крупную модель с примерно 1,013 млрд параметров и обработкой изображений размером 224 × 224 пикселя. Модель подходит для классификации изображений по категориям и получения векторных представлений изображений. Обучение использовало предварительно обученные визуальную и текстовую башни MIM, прореживание патчей FLIP и оптимизированные параметры обучения. Доступны веса PyTorch и safetensors; версия timm хранится в float32. Лицензия — MIT.

FlexiViT Base 300ep IN21k — модель классификации изображений и извлечения визуальных признаков из семейства Vision Transformer. Её обучили авторы статьи FlexiViT на ImageNet-1k с использованием JAX, а Ross Wightman перенёс веса в PyTorch для библиотеки timm. Модель содержит около 102,6 млн параметров и рассчитана на изображения размером 240 × 240 пикселей. Модель подходит для классификации изображений и получения эмбеддингов, которые можно использовать в последующих задачах компьютерного зрения. Архитектура FlexiViT позволяет работать с разными размерами патчей. Репозиторий содержит веса в форматах PyTorch и safetensors; лицензия — Apache-2.0. Карточка указывает ImageNet-1k как обучающий датасет; сведения о поддерживаемых естественных языках неприменимы к модели изображений.

Это версия Grounding DINO Base, подготовленная zeromodels как реализация на Keras 3 и преобразованная из IDEA-Research/grounding-dino-base. Модель обнаруживает объекты на изображениях по свободным текстовым запросам: она не ограничена заранее заданным набором классов и может искать категории, отсутствовавшие в обучающей выборке детектора. Архитектура сочетает визуальный энкодер Swin-Base и текстовый энкодер BERT; модуль деформируемого объединения признаков связывает изображение с текстом, а декодер предсказывает рамки объектов и оценки соответствия словам запроса. Модель предназначена для локализации названных пользователем объектов на изображениях, в том числе для поиска новых категорий без примеров разметки. Реализация Keras 3 работает с TensorFlow, PyTorch и JAX. Для чистых результатов можно повышать порог оценки; при запуске на Torch README предупреждает о возможном большом расходе памяти из-за графа autograd и рекомендует отключать его для инференса. Лицензия — Apache 2.0.

HGNet-V2 B3 — сверточная модель классификации изображений и извлечения признаков из семейства High Performance GPU Net. По карточке, модель обучена авторами timm на данных ImageNet-22k и ImageNet-1k с применением дистилляции SSLD. Она содержит 16,3 млн параметров; указаны вычислительная сложность 1,8 GMAC и размер входа 224×224 при обучении и 288×288 при тестировании. Модель подходит для классификации изображений по категориям ImageNet, извлечения карт признаков и получения эмбеддингов изображений. Она реализована для библиотеки timm, веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

Это модель классификации изображений на основе иерархического Vision Transformer Hiera, опубликованная Ross Wightman в библиотеке timm. Она обучена на ImageNet-12k по рецепту из работы «Searching for better ViT baselines» и также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Вариант использует масштабируемые абсолютные позиционные эмбеддинги для оконного внимания и layer-scale. Модель содержит 42,7 млн параметров, требует изображения размером 256 × 256 пикселей и имеет вычислительную сложность 7,7 GMACs. Подходит для классификации изображений и получения визуальных признаков в прикладных и исследовательских конвейерах компьютерного зрения. Лицензия репозитория — Apache-2.0.

Модель maxwoe/image-rotation-angle-estimation оценивает угол поворота изображения по полному диапазону 360°. Она построена на backbone MambaOut Base, предварительно обученном на ImageNet-1K, и использует метод Circular Gaussian Distribution: модель предсказывает распределение вероятностей по 360 угловым интервалам с разрешением 1°, после чего выбирается угол с наибольшей вероятностью. Входной размер изображения — 224 × 224 пикселя. В репозитории представлены чекпойнты, обученные на COCO 2017 и COCO 2014. Для версии COCO 2017 указаны MAE 2,84° и медианная ошибка 0,55°. Модель предназначена для определения ориентации изображений и может использоваться для автоматического выравнивания снимков и предварительной обработки визуальных данных. Репозиторий распространяется по лицензии MIT.

Inception-ResNet-v2 tf_in1k — модель компьютерного зрения для классификации изображений и извлечения признаков, опубликованная командой timm. Она содержит около 55,8 млн параметров, рассчитана на изображения размером 299 × 299 пикселей и обучена на ImageNet-1k. Реализация перенесена из TensorFlow через pretrained-models.pytorch; веса доступны в форматах PyTorch и Safetensors, а для работы с моделью используется библиотека timm. Модель подходит для присвоения изображениям меток из набора ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений для последующих задач компьютерного зрения. Лицензия — Apache-2.0. Карточка не приводит известных ограничений качества или применения; классификация ориентирована на классы ImageNet-1k, поэтому её результаты не гарантируют точность на других предметных областях.

Inception-v3 — сверточная модель для классификации изображений и извлечения визуальных признаков. Репозиторий timm содержит веса torchvision, обученные на ImageNet-1k; модель разработана в рамках семейства Inception и опубликована в формате PyTorch, включая safetensors. Веса рассчитаны на изображения размером 299 × 299 пикселей, модель содержит около 23,8 млн параметров и требует около 5,7 GMACs на обработку изображения. Модель подходит для определения объектов и сцен на изображениях, получения карт признаков и визуальных эмбеддингов, в том числе как базовый компонент компьютерного зрения. Она обучена на ImageNet-1k, поэтому её классификация ограничена категориями этого набора данных; для специализированных классов может потребоваться дообучение. Лицензия репозитория — Apache 2.0.