I.8Изображения и компьютерное зрение

PS3-1.5K-SigLIP — разработанный NVIDIA визуальный энкодер на основе SigLIP SoViT-400m, дообученный для извлечения признаков из изображений высокого разрешения. Модель принимает RGB-изображения размером до 1512 × 1512 пикселей и возвращает тензор визуальных эмбеддингов для использования в последующих моделях и прикладных системах. PS3 поддерживает выбор значимых высокодетализированных областей изображения по визуальной значимости или текстовым подсказкам. Это помогает извлекать признаки для анализа изображений, содержащих мелкие детали, текст, диаграммы и документы. Модель обучалась на 75 млн изображений, включая данные на основе SA-1B и IDL; ориентирована на исследовательскую и разработческую работу и оптимизирована для NVIDIA GPU. Лицензия в предоставленных данных не указана.

Это извлечённый из Qwen3-VL-8B-Instruct визуальный энкодер, адаптированный для библиотеки timm; модель предназначена для получения признаковых представлений изображений. Веса исходной визуальной части перенесены в формат timm без дополнительного обучения; языковые веса и обученная голова классификации не включены. Энкодер сохраняет пространственный merger и проекцию шириной 4096, затем выполняет усреднённое pooling и LayerNorm без аффинных параметров. Ширина backbone — 1152, размер модели — около 455 млн параметров, стандартный размер изображения — 768×768. Реализация принимает RGB-изображения, поддерживает прямоугольные размеры с ограничениями на кратность сторон 16 или 32 в зависимости от варианта; промежуточные карты признаков доступны отдельно. Модель подходит для извлечения эмбеддингов и признаков изображений, а также как визуальный backbone для последующего обучения классификатора на целевом наборе данных. Новая классификационная голова и языковая модель не входят в checkpoint. Лицензия — Apache-2.0.

timm/qwen3_vit_416m.qwen3_5_27b — визуальный энкодер семейства Qwen, созданный как перенос весов визуальной части Qwen3.5-27B в формат timm. Модель содержит около 415 млн параметров, ширину backbone 1152 и выдаёт признаки изображений; языковые веса и обученная голова классификации в этот чекпойнт не входят. Для классификации потребуется добавить и обучить линейную голову на целевом наборе данных. Энкодер предназначен для извлечения пространственных признаков и эмбеддингов изображений, в том числе как основы для последующей классификации или других задач компьютерного зрения. Архитектура использует MLP с GELU-tanh, обучаемые абсолютные позиционные эмбеддинги и осевое 2D RoPE. Указанный размер изображения — 768 × 768; поддерживаются прямоугольные изображения, размеры сторон должны делиться на 16, а для вариантов с объединением 2×2 — на 32. Веса доступны в safetensors, лицензия — Apache 2.0. README описывает перенос весов без дополнительного обучения, поэтому преобразование в timm классифицируется как конверсия формата, хотя метаданные HF помечают модель как finetune от Qwen/Qwen3.5-27B. Для поиска и указания происхождения использованы метаданные; фактический способ подготовки уточняется по README.

Это модель извлечения признаков изображений на основе визуального энкодера Qwen3-VL-235B-A22B-Instruct, преобразованного в формат timm. Она предназначена для получения пространственных признаков и эмбеддингов изображений, а также для использования в качестве визуального backbone при последующем обучении классификатора. Энкодер содержит около 415 млн параметров, имеет ширину 1152 и рассчитан на изображения 768 × 768. Архитектура использует MLP с GELU-tanh, обучаемые абсолютные позиции и осевое двумерное RoPE; поддерживаются прямоугольные изображения при соблюдении требований к кратности размеров. Модель принимает изображения, а выдаёт признаки и эмбеддинги; языковые веса и обученная голова классификации в репозитории отсутствуют. По README, веса визуального энкодера перенесены из Qwen3-VL без дополнительного обучения, а temporal Conv3d преобразован для обработки одиночных изображений. Для классификации нужно обучить новую линейную голову на целевом наборе данных. Лицензия — Apache 2.0.

Это модель-энкодер изображений timm/qwen3_vit_416m.qwen3_vl_8b, созданная как перенос весов визуального энкодера Qwen3-VL-8B-Instruct в timm. Она предназначена для извлечения признаков изображений и подготовки эмбеддингов или карт признаков для последующей классификации и других задач компьютерного зрения. Веса не дообучались; языковая модель, проекторы DeepStack и обученная классификационная голова в чекпойнт не входят. Визуальная часть содержит около 415 млн параметров и использует MLP с GELU-tanh, обучаемые абсолютные позиционные представления и двумерный axial RoPE. Указанный размер изображения — 768 × 768; поддерживаются прямоугольные входы с размерами, кратными 16, а для вариантов с объединением 2 × 2 — кратными 32. Реализация адаптирует временное свёрточное ядро исходного энкодера к двумерным изображениям; для нормализации RGB используются среднее и стандартное отклонение 0,5 по каждому каналу. Модель выдаёт признаки визуального энкодера, в том числе пространственные карты признаков и pooled image embeddings. Для получения классификации необходимо добавить и обучить собственную голову на целевом наборе данных. Лицензия — Apache 2.0.

RADIO-L — модель извлечения визуальных признаков из изображений, разработанная NVIDIA Research и созданная авторами Mike Ranzinger, Greg Heinrich, Jan Kautz и Pavlo Molchanov. В README модель представлена как часть проекта AM-RADIO, объединяющего визуальные представления для разных областей применения. Модель принимает изображения и возвращает два вида признаков: сводный вектор, представляющий общий смысл изображения, и пространственные признаки отдельных участков. Сводное представление подходит для задач, которым нужен общий образ изображения, а пространственные признаки предназначены для плотных задач, например семантической сегментации, и интеграции с LLM. Репозиторий содержит веса в формате safetensors. Лицензия указана как other; конкретные условия использования в предоставленных данных не раскрыты.

RegNetX-200MF — сверточная модель семейства RegNetX для классификации изображений и извлечения визуальных признаков. Репозиторий timm содержит веса, предварительно обученные авторами статьи на ImageNet-1k; реализация доступна через библиотеку timm. Модель насчитывает 2,7 млн параметров, имеет вычислительную стоимость около 0,2 GMAC и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для присвоения изображению класса из набора ImageNet-1k, а также для использования в качестве визуального бэкбона и получения карт признаков или эмбеддингов. Реализация timm поддерживает такие возможности, как stochastic depth, gradient checkpointing, настраиваемые шаги свёртки и конфигурации слоёв активации и нормализации. Качество и область классов предсказаний связаны с обучением на ImageNet-1k; карточка не описывает специализацию для иных наборов данных. Лицензия репозитория — MIT.

timm/regnety_1280.swag_ft_in1k — модель классификации изображений семейства RegNetY-128GF, основанная на архитектуре RegNet и распространяемая в библиотеке timm. Изначально обучена методом слабого обучения с учителем SWAG на примерно 3,6 млрд изображений Instagram и связанных с ними хештегах, затем дообучена авторами статьи на ImageNet-1k. Модель содержит около 644,8 млн параметров и рассчитана на изображения размером 384 × 384 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. В таблице результатов указана точность top-1 88,228% и top-5 98,684% на ImageNet-1k. Реализация timm поддерживает стохастическую глубину, градиентное чекпоинтирование, послойное уменьшение скорости обучения и настройку выходного шага сети. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование. Модель принимает изображения и выдаёт метки классов; описание также указывает на возможность получения признаковых представлений.

regnety_640.seer — модель визуального backbone семейства RegNetY-64GF, опубликованная в экосистеме timm. Она предварительно обучена компанией Meta методом самообучения SwAV на наборе из 2 млрд случайных изображений из интернета и предназначена для извлечения признаков, карт признаков и эмбеддингов изображений, а также может использоваться как основа для классификации изображений. Модель содержит 276,5 млн параметров и рассчитана на изображения размером 224 × 224 пикселя; вычислительная сложность составляет 64,2 GMACs. Реализация timm включает стохастическую глубину, контрольные точки градиентов, послойное уменьшение скорости обучения и настраиваемый выходной stride с дилатацией. Весам назначена лицензия SEER компании Meta с ограничениями на использование и распространение, включая некоммерческий характер лицензии. Модель вычислительно тяжёлая, а результаты для конкретной задачи могут требовать дополнительной настройки или классификационной головы.

repvit_m1_1.dist_300e_in1k — модель классификации изображений семейства RepViT, обученная авторами статьи на ImageNet-1k с дистилляцией. Она также подходит как компактная визуальная основа для извлечения карт признаков и эмбеддингов изображений. Модель содержит 8,8 млн параметров, требует изображение размером 224 × 224 пикселя и имеет вычислительную сложность 1,4 GMAC. Репозиторий предоставляет веса в форматах PyTorch и Safetensors; для работы указана библиотека timm. Модель предназначена для классификации изображений и построения визуальных признаков в компьютерном зрении. Лицензия — Apache-2.0. Ограничения: модель обучена на ImageNet-1k, поэтому её классы и качество могут не соответствовать специализированным предметным областям; README не приводит результатов оценки на других наборах данных.

ResMLP-12 — модель классификации изображений и извлечения признаков из семейства ResMLP, опубликованная авторами научной работы и обученная на ImageNet-1k. Веса доступны в форматах PyTorch и safetensors; модель содержит около 15,4 млн параметров, требует изображения размером 224 × 224 и имеет вычислительную стоимость около 3,0 GMACs. Модель предназначена для классификации изображений по категориям ImageNet-1k и может использоваться как визуальная основа для получения признаков и эмбеддингов изображений. Архитектура ResMLP применяет блоки многослойного перцептрона для обработки изображений. Лицензия репозитория — Apache-2.0.

Это предобученные на ImageNet веса ResNet-18, опубликованные для использования в качестве энкодера в библиотеке segmentation-models-pytorch. Модель предназначена для классификации изображений и как часть сегментационных систем, где ResNet-18 извлекает признаки из изображения. Репозиторий содержит веса в формате safetensors; карточка не сообщает число параметров, языки или конкретные ограничения качества. Лицензия указана как other, поэтому условия использования следует уточнить по лицензии репозитория.

ResNetV2-18d — сверточная модель классификации изображений из библиотеки timm, обученная Россом Уайтманом на ImageNet-1k. Она предназначена для распознавания объектов на изображениях, а также может использоваться как backbone для извлечения карт признаков и эмбеддингов изображений. Модель содержит 11,7 млн параметров и требует около 2,1 GMACs. Обучение проводилось на изображениях 224 × 224 пикселя; для оценки указано разрешение 288 × 288. В карточке приведены результаты на ImageNet-1k, но таблица метрик обрезана, поэтому конкретные показатели этой модели определить нельзя. Модель принимает изображения и выдаёт классовые оценки; для задач извлечения признаков или эмбеддингов выход зависит от выбранного интерфейса. Лицензия — Apache-2.0. Карточка не указывает русскоязычные подписи классов или обучение на других наборах данных.

sam2_hiera_small.fb_r896 — вариант визуального энкодера HieraDet из SAM 2, опубликованный в библиотеке timm. Репозиторий содержит веса энкодера изображений, предназначенные для извлечения признаков из изображений и использования в компьютерном зрении. Модель принимает изображения и выдаёт визуальные признаки; карточка указывает библиотеку timm и форматы PyTorch и safetensors. Веса распространяются по лицензии Apache-2.0.

SAM3-LiteText-L — вариант SAM3-LiteText, разработанный Chengxi Zeng и соавторами. Это модель сегментации изображений и видео по текстовым и другим поддерживаемым SAM3 запросам. Она сохраняет визуальный энкодер SAM3 ViT-H, а тяжёлый текстовый энкодер заменяет на MobileCLIP2-L, оптимизированный дистилляцией знаний. Текстовый энкодер содержит 123,80 млн параметров — примерно на 65% меньше, чем исходный энкодер SAM3; авторы сообщают о сопоставимом качестве сегментации при снижении статических затрат памяти. Модель предназначена для гибкой сегментации объектов по текстовому описанию и совместима с интерфейсом запросов SAM3. Доступны текстовые запросы, запросы рамками и пакетный инференс; для подробных примеров README направляет к документации SAM3. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0.

SAM3-LiteText-S1 — вариант SAM3-LiteText, разработанный Chengxi Zeng, Yuxuan Jiang, Ge Gao и соавторами для эффективной сегментации изображений и видео по текстовым запросам. Модель сохраняет визуальный энкодер SAM3 ViT-H, а тяжёлый текстовый энкодер заменяет на компактный MobileCLIP-S1, обученный методом дистилляции знаний. Текстовый энкодер содержит 63,53 млн параметров — примерно на 82% меньше, чем исходный энкодер SAM3. Модель предназначена для сегментации объектов, заданных текстом, и поддерживает интерфейс запросов SAM3, включая текстовые и рамочные подсказки. Она рассчитана на сценарии, где нужна сегментация с текстовым управлением при меньших затратах памяти на текстовый энкодер; авторы сообщают о сопоставимом с SAM3 качестве сегментации. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

semnasnet_075.rmsp_in1k — компактная модель классификации изображений из библиотеки timm. Она основана на архитектуре MNasNet с канальным вниманием Squeeze-and-Excitation и обучена на ImageNet-1k. Модель содержит около 2,9 млн параметров, рассчитана на изображения размером 224 × 224 и требует около 0,2 GMACs на обработку изображения. Модель предназначена для классификации изображений по категориям ImageNet-1k, а также может использоваться как основа для извлечения признаковых карт и эмбеддингов изображений. Обучение проводилось с оптимизатором RMSProp, усреднением весов EMA и аугментациями, включая RandomErasing и mixup. Доступны веса PyTorch и safetensors; лицензия — Apache-2.0.

SigLIP 2 Large — визуальная модель Google на архитектуре SigLIP, обученная для сопоставления изображений и текста. Версия Large с патчами 16×16 и входным разрешением 512 пикселей расширяет исходную схему предобучения SigLIP методами для улучшения семантического понимания, локализации и получения плотных признаков. Модель использует библиотеку Transformers и распространяется в формате Safetensors. Модель предназначена для классификации изображений по произвольным текстовым меткам без отдельного обучения, поиска изображений по текстовому запросу и использования в качестве визуального энкодера для VLM и других задач компьютерного зрения. Она предобучена на наборе WebLI. Карточка не сообщает об ограничениях качества для конкретных типов изображений. Лицензия — Apache 2.0.

aslakey/text_overlay_detection — модель классификации изображений на базе Dinov2 with Registers, опубликованная пользователем aslakey. Она определяет, присутствует ли на изображении наложенный текст: субтитры, титры, водяные знаки, рекламные сообщения или поясняющие подписи. Модель обучена на 2 тысячах пар изображений, размеченных с помощью VLM и затем вручную; модифицированный препроцессор отключает центральное кадрирование, чтобы учитывать текст в углах изображения. Модель предназначена для отбора изображений с выжженным текстом при подготовке данных для генерации изображений и видео, очистки рекламных креативов и предварительной обработки данных для сравнения изображений или создания пар для генерации оформления заголовков. В README указаны precision, recall и F1-score 0,97–0,99 для классов «есть наложенный текст» и «нет наложенного текста» на использованной оценке. Размер модели — 402,7 млн параметров; веса опубликованы в формате safetensors для Transformers. Лицензия и языковая привязка метками модели не подтверждены; модель классифицирует наличие текста, а не распознаёт его содержание.

Это модель классификации изображений EfficientNet-B2 из семейства timm. Её обучили авторы работ по EfficientNet и Noisy Student на ImageNet-1k и неразмеченных данных JFT-300M, а затем перенёс в PyTorch Росс Уайтман. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Она содержит около 9,1 млн параметров, требует изображения размером 260 × 260 пикселей и имеет вычислительную стоимость около 1,0 GMAC. Карточка также описывает извлечение признаков и эмбеддингов, но не приводит метрик качества или сведений о поддержке языкового ввода. Модель рассчитана на визуальные задачи ImageNet-1k; её применение к другим наборам данных может потребовать адаптации.

Это предобученные веса EfficientNet-B0 с обучением по методу Noisy Student, опубликованные в репозитории smp-hub и предназначенные для использования в качестве энкодера библиотеки segmentation-models-pytorch. Веса можно применять как основу для моделей сегментации изображений, а также для классификации изображений. Модель принимает изображения и выдаёт признаки, пригодные для классификации или передачи в декодер сегментации. Карточка не сообщает размер набора классов, разрешение входных изображений или показатели качества. Репозиторий предоставляет веса в формате Safetensors; лицензия указана как other, поэтому условия использования следует уточнить в репозитории.

Модель timm/vit_base_patch16_224.orig_in21k_ft_in1k — Vision Transformer (ViT) для классификации изображений и извлечения визуальных признаков. Её обучили авторы статьи на ImageNet-21k, затем дообучили на ImageNet-1k в JAX; Ross Wightman перенёс веса в PyTorch. Модель доступна в форматах PyTorch и safetensors и распространяется по лицензии Apache-2.0. Модель содержит 86,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Её можно использовать для классификации изображений по категориям ImageNet, а также как визуальную основу для получения эмбеддингов. Карточка описывает результаты на ImageNet, поэтому качество на других наборах данных и задачах может отличаться.

Это визуальный энкодер SigLIP 2 на архитектуре Vision Transformer (ViT) с патчами 16×16 и входным разрешением 384 пикселя, подготовленный для библиотеки timm. Он соответствует визуальной части мультимодальной модели SigLIP 2 и обучен на наборе данных WebLI. Модель предназначена для извлечения признаков и визуальных представлений изображений, которые можно использовать в поиске по изображениям, сопоставлении изображений с текстовыми представлениями и других задачах анализа изображений. Это только image encoder: карточка не описывает генерацию изображений или обработку текста самой моделью. Модель распространяется под лицензией Apache-2.0. Для запуска используется библиотека timm; веса доступны в форматах PyTorch и safetensors. Карточка не сообщает оценок качества или отдельных ограничений применения.

Это визуальный энкодер SigLIP из библиотеки timm с архитектурой ViT-Base и патчами 16×16, обученный на данных WebLI. Вариант использует глобальное усреднение признаков и предназначен для извлечения векторных представлений изображений. Модель подходит для построения эмбеддингов изображений, поиска похожих изображений и других систем, использующих визуальные признаки. Карточка описывает только image encoder, поэтому модель не следует считать генератором текста или изображений. Весы доступны в форматах PyTorch и safetensors; лицензия — Apache-2.0.

Это визуальный энкодер SigLIP 2 на архитектуре ViT с патчами 32×32 и входным разрешением 256 пикселей, подготовленный для библиотеки timm. Модель соответствует только визуальной башне SigLIP 2 и обучена на наборе данных WebLI. Она предназначена для извлечения признаковых представлений изображений, которые можно использовать для поиска и сопоставления изображений или как входные признаки для последующих задач компьютерного зрения. Репозиторий содержит веса PyTorch и Safetensors и распространяется по лицензии Apache 2.0. В карточке не приведены размер модели и дополнительные сведения о качестве.

Модель timm/vit_giantopt_patch16_siglip_256.v2_webli — визуальный энкодер семейства SigLIP 2 на архитектуре ViT-Giant с патчами 16×16, обученный на наборе WebLI. Это только визуальная часть модели: она преобразует изображения в признаки и предназначена для извлечения визуальных представлений, а не для генерации текста или изображений. Репозиторий использует библиотеку timm и предоставляет веса в форматах PyTorch и Safetensors. Энкодер можно применять как компонент систем поиска по изображениям, сопоставления изображений с текстовыми представлениями и других задач, которым нужны визуальные признаки. В карточке указана лицензия Apache-2.0. Число параметров и размер контекста в доступных сведениях не приводятся.

Это визуальный энкодер SigLIP 2 на архитектуре ViT Giant с оптимизированными патчами 16 и входным разрешением 384 пикселя, подготовленный для библиотеки timm. Модель соответствует только визуальной части SigLIP 2 и обучена на наборе данных WebLI. Модель предназначена для извлечения признаков изображений: полученные представления можно использовать для поиска похожих изображений, сопоставления изображений с текстом в составе мультимодальной системы и других задач визуального анализа на основе признаков. Метаданные указывают задачу image-feature-extraction; модель принимает изображения и выдаёт векторные представления. Репозиторий распространяется по лицензии Apache 2.0. Карточка не сообщает число параметров, длину контекста или ограничения качества; это визуальный энкодер, поэтому он сам по себе не генерирует текст и не принимает текстовые запросы.

Это визуальный энкодер SigLIP 2 на архитектуре ViT-Large с патчами 16×16, предназначенный для библиотеки timm. Модель соответствует только визуальной башне SigLIP 2 и обучена на датасете WebLI; она извлекает признаки изображений и не включает текстовый энкодер. Модель подходит для получения визуальных представлений, которые можно использовать в системах поиска изображений, сопоставления и последующей обработки визуальных данных. В карточке указано разрешение 384 в названии модели. Репозиторий распространяется в форматах PyTorch и Safetensors под лицензией Apache-2.0.

Это модель классификации изображений семейства Vision Transformer (ViT), разработанная Россом Уайтманом в библиотеке timm. Вариант архитектуры использует глобальное усреднение токенов; модель содержит около 38,9 млн параметров и рассчитана на изображения размером 256 × 256 пикселей. Модель предварительно обучена на ImageNet-12k и дообучена на ImageNet-1k. Она предназначена для присвоения изображению класса из набора категорий ImageNet и может использоваться как основа для извлечения признаков и эмбеддингов изображений. Доступна в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель обучена на ImageNet, поэтому её классификационные возможности ориентированы на категории этого набора данных; качество на других предметных областях не подтверждено карточкой.

Perception Encoder Core Gigantic Patch14 448 — разработанная Meta модель-кодировщик изображений из семейства Perception Encoder, опубликованная в формате timm с переназначенными весами исходной модели. Это визуальная часть модели без текстового кодировщика: архитектура ViT с патчами 14 × 14, размером G и входным разрешением 448 пикселей. Семейство PE обучалось контрастивно на изображениях и на синтетически выровненных видео; для агрегации признаков используется attention pooling. Модель предназначена для извлечения визуальных признаков, классификации и поиска изображений, а также может использоваться как визуальный энкодер в системах понимания изображений и видео. В отчёте авторов вариант G/14 448 показывает сильные результаты в zero-shot классификации и поиске изображений, включая сложные наборы ImageNet-A и ObjectNet, а также в zero-shot классификации и поиске видео. Репозиторий содержит веса PyTorch в формате safetensors и рассчитан на использование с библиотекой timm. Лицензия — Apache 2.0. Это только энкодер изображений, поэтому он сам по себе не генерирует текстовые ответы и не принимает видео как последовательность кадров. Описанные результаты относятся к оценкам авторов семейства PE; фактическое качество зависит от способа получения признаков и последующей задачи.