I.8Изображения и компьютерное зрение

Модель timm/gemma4_vit_167m.gemma4_e4b_it — визуальный энкодер признаков, выделенный из мультимодальной модели Google Gemma 4 E4B-it и адаптированный для работы с библиотекой timm. Она преобразует изображения в признаки и эмбеддинги; поверх токенов изображения добавлены усреднение и RmsNorm, что упрощает дообучение линейной классификационной головы. Архитектура — пользовательская Vision Transformer с 2D RoPE, gated MLP с GELU-tanh и RMS-нормализацией; размер модели — 167,4 млн параметров, заявленный размер изображения — 768 × 768. Энкодер подходит для извлечения признаков, построения эмбеддингов и классификации изображений после дообучения головы. Он принимает изображения с пикселями в диапазоне [0, 1], поддерживает переменное разрешение в стиле NaFlex, а также фиксированный квадратный вход. Веса импортированы из vision tower Gemma 4 E4B-it; README сообщает о побитовом совпадении выходов с реализацией Gemma4VisionModel в Transformers при одинаковых входах. Лицензия — Apache 2.0.

HGNet-V2 B0 — компактная модель классификации изображений и извлечения визуальных признаков из семейства High Performance GPU Net. Её обучили авторы семейства на данных ImageNet-22k и ImageNet-1k с применением дистилляции SSLD. Модель содержит 6 млн параметров и предназначена для работы с изображениями; в карточке указаны размеры 224×224 для обучения и 288×288 для тестирования. Модель подходит для классификации изображений по классам ImageNet, извлечения карт признаков и получения векторных представлений изображений. Она доступна через библиотеку timm в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Карточка не приводит метрики именно для варианта B0: показанная таблица относится к более крупным вариантам B6. Поэтому результаты B6 нельзя переносить на эту модель.

timm/hiera_base_224.mae — модель извлечения признаков изображений на основе иерархического Vision Transformer Hiera. Она предварительно обучена авторами статьи на ImageNet-1k методом Self-Supervised Masked Autoencoder (MAE) и предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов. Модель содержит 50,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит как визуальный backbone для задач компьютерного зрения и как основа для последующей классификации или извлечения визуальных представлений. В карточке приведена таблица точности для вариантов Hiera после дообучения, но отдельная оценка качества этого чекпойнта не указана. Для использования и распространения действует лицензия CC BY-NC 4.0, ограничивающая коммерческое применение.

Lucida — дообученная на базе ZhengPeng7/BiRefNet_HR модель BiRefNet для удаления фона и мягкого выделения объектов с сохранением полупрозрачных краёв. Автор модели заявляет об улучшенной обработке замаскированных объектов, стекла и других прозрачных материалов, текста и логотипов, свечений для визуальных эффектов и иллюстраций. Опубликованный выпуск v7 предназначен для общего удаления фона; модель принимает изображения и формирует маску сегментации, пригодную для получения изображения с прозрачностью. В репозитории также есть экспериментальная ветка m35 для печатного дизайна, рассчитанная на работу в конвейере ComfyUI с дополнительными компонентами. В карточке приведены результаты внутреннего теста на 203 изображениях в девяти категориях: Lucida показала сильные результаты на камуфляже, иллюстрациях, логотипах и печатной графике. Это заявление автора, а не независимая оценка. Для стандартного файла требуется загрузка через Transformers с предварительной обработкой Normalize; m35 использует другую схему. Модель распространяется по лицензии MIT, однако некоторые обучающие наборы данных имеют исследовательские ограничения, которые следует учитывать при выборе сценария использования.

Это модель классификации изображений MaxViT Large с входным разрешением 224 × 224 пикселя, обученная авторами статьи в TensorFlow на ImageNet-21k и перенесённая в PyTorch Россом Уайтманом для библиотеки timm. В модели около 233,1 млн параметров; архитектура MaxViT объединяет блоки MBConv со слоями внимания по окнам и сетке. Репозиторий содержит веса PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Модель предназначена для отнесения изображений к классам ImageNet-21k. Её можно применять для классификации изображений и использовать как визуальную основу для извлечения признаковых карт и эмбеддингов. Большой размер модели и вычислительная сложность могут ограничивать её использование на маломощном оборудовании.

MaxViT Small TF 512 in1k — модель классификации изображений семейства MaxViT, обученная авторами работы в TensorFlow на ImageNet-1k и перенесённая в PyTorch Россом Уайтманом для библиотеки timm. Она предназначена для определения объектов и сцен на изображениях, а также может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. Архитектура MaxViT сочетает блоки свёрток MBConv с двумя видами self-attention: оконным и сеточным. Модель содержит 69,1 млн параметров и рассчитана на изображения размером 512 × 512 пикселей. Репозиторий предоставляет веса PyTorch и safetensors. Лицензия — Apache-2.0. Модель обучена на ImageNet-1k и предназначена для классификации изображений общего назначения. Для других предметных областей качество не гарантируется без дополнительной проверки или адаптации; вычислительная нагрузка может быть существенной из-за размера модели и входного разрешения.

zeromodels/owlvit-base-patch32 — это преобразованная в Keras 3 версия модели OWL-ViT от Google для обнаружения объектов по свободным текстовым запросам. Модель использует визуальный и текстовый энкодеры в стиле CLIP, формирует кандидаты обнаружения для патчей изображения и оценивает их сходство с текстовыми запросами. Реализация работает с TensorFlow, Torch и JAX. Модель предназначена для поиска и локализации объектов на изображениях без заранее заданного списка классов: достаточно передать текстовые описания искомых объектов. Порог обнаружения для открытого словаря обычно ниже, чем у детекторов с фиксированными классами. Модель распространяется по лицензии Apache 2.0.

timm/pit_xs_224.in1k — модель классификации изображений семейства PiT (Pooling-based Vision Transformer), обученная авторами статьи на ImageNet-1k. Она предназначена для присвоения изображению класса из набора ImageNet, а также может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. Модель содержит около 10,6 млн параметров, обрабатывает изображения размером 224 × 224 и требует примерно 1,4 GMAC на проход. Репозиторий предоставляет веса в форматах PyTorch и Safetensors; модель рассчитана на библиотеку timm. Лицензия — Apache-2.0. Карточка не заявляет поддержку текстового ввода или других модальностей.

PP-OCRv6_small_det — компактная модель обнаружения текстовых областей из семейства PP-OCRv6, разработанного командой PaddleOCR. Она предназначена для локализации текста на изображениях и используется как модуль обнаружения в OCR-конвейере; распознавание содержимого текста выполняет отдельная модель. Модель содержит 2,48 млн параметров, использует LCNetV4 в качестве backbone и RepLKFPN в качестве шеи детектора. Она рассчитана на поиск печатного и рукописного текста, включая повёрнутый, изогнутый и художественный текст, и поддерживает сценарии на нескольких языках. Карточка семейства PP-OCRv6 заявляет поддержку 48 языков; метаданные этой модели указывают английский и китайский. Малый размер подходит для сценариев, где важны вычислительная эффективность и развёртывание на ограниченных ресурсах. Модель обнаруживает расположение текста, но сама по себе не распознаёт его и не извлекает смысл содержимого. Лицензия — Apache-2.0.

timm/qwen3_vit_306m_merge.qwen3_5_2b — модель-энкодер изображений, созданная как перенос весов визуальной части Qwen3.5-2B в формат timm. Она предназначена для извлечения признаков и получения векторных представлений изображений; выходной классификационной головы в чекпойнте нет, её нужно обучить отдельно для классификации. Модель содержит около 330,6 млн параметров, использует визуальный backbone шириной 1024 и проекцию до 2048 измерений. Визуальная архитектура включает абсолютные позиционные эмбеддинги с интерполяцией, 2D RoPE и пространственный merger; для изображения применяется свёртка Conv2d, полученная суммированием временных весов исходной Conv3d. Модель принимает RGB-изображения, поддерживает прямоугольные размеры, кратные 16; варианты с merger 2×2 требуют кратности 32. Типичный размер изображения — 768×768. В README указана нормализация каналов со средним и стандартным отклонением 0,5. Исходные веса визуальной части извлечены из Qwen3.5-2B без дополнительного обучения; языковые веса в репозитории отсутствуют. Лицензия — Apache 2.0. Высокая вычислительная стоимость (973,6 GMACs) может ограничивать применение на ресурсах с малой производительностью.

Это визуальный энкодер семейства Qwen3-VL, подготовленный авторами карточки как модель timm на основе визуальных весов Qwen/Qwen3-VL-4B-Instruct. Он извлекает признаки изображений и формирует эмбеддинги, пригодные для последующей классификации или других задач компьютерного зрения. Веса модели не проходили дополнительное обучение; языковая модель и обученная голова классификации в checkpoint не входят. Архитектура включает визуальный backbone шириной 1024, пространственный merger и проекцию до 2560 измерений. Для обычного прохода признаки объединяются усреднённым pooling; доступны также промежуточные карты признаков. Модель рассчитана на изображения RGB, поддерживает прямоугольные размеры и использует размер изображения 768 × 768. Размеры входа должны делиться на 16, а для вариантов с merger 2 × 2 — на 32. Для обработки изображений временные веса свёртки сведены к двумерной свёртке. Энкодер подходит для получения визуальных признаков и дообучения классификационной головы на целевом наборе данных. Лицензия — Apache 2.0. Он не выполняет диалог, OCR или генерацию текста самостоятельно, поскольку языковые веса отсутствуют.

timm/qwen3_vit_306m.qwen3_5_4b — визуальный энкодер, созданный как нативное для timm преобразование весов зрительной части Qwen3.5-4B. Модель содержит около 305,5 млн параметров и предназначена для извлечения признаков изображений; языковые веса и обученная голова классификации в неё не входят. Веса не дообучались: временное ядро исходной свёртки сведено к двумерной свёртке для обработки одиночных изображений. Архитектура включает ширину скрытого представления 1024, MLP-блоки с GELU-tanh, обучаемые абсолютные позиционные кодировки и осевое двумерное RoPE. Штатный размер изображения — 768 × 768; поддерживаются прямоугольные изображения, размеры сторон должны делиться на 16, а для варианта с объединением 2×2 — на 32. Модель возвращает пространственные признаки или пулингованные эмбеддинги изображений. Энкодер подходит как основа для последующей настройки под классификацию и другие задачи компьютерного зрения. Для классификации нужно обучить новую линейную голову. Лицензия — Apache 2.0.

Это модель извлечения признаков изображений для библиотеки timm, созданная из визуального энкодера Qwen3.5-9B. Веса зрения перенесены в формат timm без дополнительного обучения; языковая часть Qwen и обученная голова классификации в чекпойнт не входят. Модель содержит около 455 млн параметров, использует визуальный backbone шириной 1152 и проекцию до 4096 измерений. Для изображения размером 768 × 768 указано 1303,2 GMACs. Энкодер принимает RGB-изображения, поддерживает прямоугольные размеры и выдаёт пространственные признаки или усреднённые эмбеддинги изображения. Архитектура включает GELU-tanh MLP, обучаемые абсолютные позиционные эмбеддинги, осевое 2D RoPE и пространственный merger. Размеры изображения должны делиться на 16, а для вариантов с merger 2 × 2 — на 32. Лицензия — Apache 2.0.

Это модель извлечения признаков изображений timm/qwen3_vit_416m_merge.qwen3_vl_32b, созданная как перенос весов визуальной части Qwen3-VL-32B-Instruct в формат timm без дополнительного обучения. Она предназначена для получения векторных представлений изображений и промежуточных карт признаков, которые можно использовать в последующих задачах компьютерного зрения или для дообучения классификатора на целевых данных. Визуальный энкодер использует ширину backbone 1152 и проекцию в 5120 измерений; модель содержит около 459,8 млн параметров. Для изображений поддерживаются прямоугольные размеры, а входные размеры должны быть кратны 16; варианты с пространственным merger требуют кратности 32. Обработка включает интерполяцию абсолютных позиционных эмбеддингов и повторное вычисление 2D RoPE для размера входа. Модель принимает RGB-изображения и выдаёт эмбеддинги и карты признаков; языковая модель и обученная классификационная голова в репозитории отсутствуют. Модель выпущена в библиотеке timm и распространяется по лицензии Apache 2.0. Для классификации требуется добавить и обучить отдельную голову на целевом наборе данных; характеристики визуального энкодера унаследованы от Qwen3-VL-32B-Instruct, но карточка отмечает, что новых обучающих этапов не было.

timm/qwen3_vit_416m.qwen3_5_9b — визуальный энкодер признаков, созданный на основе весов Qwen3.5-9B и опубликованный в формате timm. Это нативное преобразование весов vision-части модели без дополнительного обучения; в чекпойнте нет весов языковой модели и обученной классификационной головы. Модель содержит около 415 млн параметров, использует визуальный трансформер с шириной backbone 1152, абсолютными позициями и осевым 2D RoPE. Изображения обрабатываются как RGB; типичный размер — 768 × 768 пикселей. Энкодер извлекает пространственные признаки и эмбеддинги изображений для последующей классификации или других задач компьютерного зрения. Поддерживаются прямоугольные изображения при размерах, кратных 16; для вариантов с объединением 2 × 2 размерности должны быть кратны 32. Классификационную голову необходимо обучить на целевом наборе данных. Лицензия — Apache 2.0.

RegNetZ-D8 — модель классификации изображений, обученная Россом Уайтманом в рамках библиотеки timm на ImageNet-1k. Архитектура реализована через BYOBNet и использует трёхслойный ступенчатый stem без pooling, group width 8, inverted bottleneck и линейные выходы блоков. Модель содержит около 23,4 млн параметров и требует примерно 4 GMAC при разрешении 256 × 256; в карточке указаны размеры изображений 256 × 256 для обучения и 320 × 320 для тестирования. Модель предназначена для распознавания классов на изображениях, а также может использоваться как backbone для извлечения карт признаков и эмбеддингов. Весовые файлы доступны в форматах PyTorch и safetensors, лицензия — Apache-2.0. Обучение на ImageNet-1k ориентирует модель на классификацию объектов из этого набора данных; карточка не подтверждает качество на других доменах.

ResMLP 24 224 fb_in1k — модель для классификации изображений и извлечения визуальных признаков, разработанная авторами работы ResMLP и обученная на ImageNet-1k. Это feedforward-архитектура ResMLP с 30 млн параметров, рассчитанная на изображения размером 224 × 224 пикселя; для неё указаны вычислительная стоимость 6 GMACs и 10,9 млн активаций. Модель можно использовать для классификации изображений по категориям ImageNet-1k, а также как визуальный backbone для получения представлений изображений. Репозиторий содержит веса PyTorch и safetensors; для работы указана библиотека timm. Лицензия — Apache-2.0. Модель предназначена для изображений и не описана как мультимодальная или языковая. Её качество и классы ориентированы на ImageNet-1k, поэтому для других наборов категорий может потребоваться адаптация или дообучение.

samvit_large_patch16.sa1b — визуальный backbone Segment Anything Vision Transformer (SAM ViT) из библиотеки timm. Авторы статьи Segment Anything предварительно обучили модель на наборе SA-1B, используя инициализацию весами MAE. Модель содержит около 308,3 млн параметров и рассчитана на изображения размером 1024 × 1024 пикселя. Модель извлекает признаки и эмбеддинги изображений, а также может служить основой для дообучения или построения классификатора. Веса репозитория не включают сегментационную голову, поэтому готовую сегментацию объектов модель сама не выдаёт. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.

Это предварительно обученные на ImageNet веса архитектуры SE-ResNeXt-50-32x4d из библиотеки segmentation-models-pytorch. Модель предназначена для классификации изображений и может использоваться как энкодер в системах сегментации на базе этой библиотеки. SE-ResNeXt-50-32x4d — сверточная архитектура для обработки изображений. Карточка не приводит сведения о размере весов, языках или других модальностях. Репозиторий содержит веса в формате safetensors; лицензия указана как other, поэтому условия использования следует уточнить в источнике лицензии.

Карточка модели Veritone/siglip2-large-patch16-512 на Hugging Face совпадает с карточкой google/siglip2-large-patch16-512, поэтому описание составлено по ней. SigLIP 2 Large — визуальная модель Google на архитектуре SigLIP, обученная для сопоставления изображений и текста. Версия Large с патчами 16×16 и входным разрешением 512 пикселей расширяет исходную схему предобучения SigLIP методами для улучшения семантического понимания, локализации и получения плотных признаков. Модель использует библиотеку Transformers и распространяется в формате Safetensors. Модель предназначена для классификации изображений по произвольным текстовым меткам без отдельного обучения, поиска изображений по текстовому запросу и использования в качестве визуального энкодера для VLM и других задач компьютерного зрения. Она предобучена на наборе WebLI. Карточка не сообщает об ограничениях качества для конкретных типов изображений. Лицензия — Apache 2.0.

VideoMAEv2-Large — крупная видеомодель OpenGVLab, предварительно обученная в течение 800 эпох методом самообучения на наборе UnlabeledHybrid-1M. Модель основана на архитектуре VideoMAE V2 с механизмом двойного маскирования и представлена в работе Wang et al. для CVPR 2023. Модель предназначена для извлечения признаков из видео и классификации видеоматериалов. Она принимает видео и выдаёт признаки, которые можно использовать в задачах анализа и классификации видеосодержимого. В репозитории веса представлены в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка рекомендует использовать исходную модель для извлечения видеопризнаков; другие сценарии требуют подходящей настройки или классификационной головы.

Это PyTorch-порт VideoPrism LVT Base от Google DeepMind, подготовленный автором репозитория sposiboh на основе google/videoprism-lvt-base-f16r288. Он переносит модель из исходного релиза с весами JAX/Flax в PyTorch и, согласно карточке, даёт численно эквивалентные исходной реализации выходы. Модель предназначена для извлечения признаков из видео и получения векторных представлений, которые можно использовать в последующих задачах анализа видео. Архитектура — VideoPrism LVT Base; репозиторий содержит веса safetensors и используется через Transformers AutoModel и AutoProcessor. Суффикс f16r288 входит в название версии, но карточка не поясняет его значение. Лицензия — Apache-2.0. README указывает, что для загрузки требуется trust_remote_code=True.

Модель timm/vit_base_patch16_clip_384.laion2b_ft_in1k — классификатор изображений на архитектуре Vision Transformer (ViT), подготовленный проектом timm. Модель с 86,9 млн параметров предварительно обучена OpenCLIP на парах изображение–текст из LAION-2B и дообучена в timm на ImageNet-1k; она также может использоваться как основа для извлечения признаков и эмбеддингов изображений. Модель принимает изображения размером 384 × 384 пикселя и предназначена для классификации по категориям ImageNet-1k и получения признаковых представлений. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0. Для задач вне ImageNet-1k может потребоваться адаптация или отдельная настройка классификационных категорий. Карточка не описывает работу с текстом на входе или генерацию изображений.

Это модель timm от авторов семейства SigLIP 2: визуальный энкодер ViT с патчами 16×16, вариант с разрешением 512, обученный на наборе WebLI. Она соответствует зрительной башне мультимодальной модели SigLIP 2 и предназначена для извлечения признаков изображений, например для их последующего сравнения или использования в системах поиска. Модель принимает изображения и выдаёт визуальные признаки. Репозиторий содержит веса PyTorch и Safetensors; лицензия — Apache-2.0. README описывает только image encoder, поэтому поддержка текстового ввода или генерации текста не заявлена.

Это визуальный энкодер SigLIP из библиотеки timm, опубликованный на Hugging Face командой timm. Модель принимает изображения и извлекает их признаки; текстовый энкодер и возможности генерации в карточке не заявлены. В названии указаны архитектура ViT-Base с патчами 16×16 и разрешение 512 пикселей; сохранён оригинальный механизм attention pooling SigLIP. Модель предназначена для получения визуальных представлений, которые можно использовать в системах поиска по изображениям и других задачах, где нужны признаки изображения. Доступны веса PyTorch и Safetensors, лицензия — Apache 2.0.

vit_base_patch16_siglip_gap_512.v2_webli — модель-энкодер изображений на архитектуре ViT из семейства SigLIP 2, опубликованная для библиотеки timm. Это только визуальная часть модели: вариант gap использует глобальное усреднение признаков и не содержит головы attention pooling. Модель обучена на наборе данных WebLI и предназначена для извлечения признаков изображения, в том числе для последующего сравнения изображений и построения мультимодальных систем. Модель принимает изображения и выдаёт их векторные представления. Карточка указывает на исследовательские работы SigLIP 2 и Sigmoid Loss for Language Image Pre-Training, но не приводит подробностей о разрешении входа, языковой поддержке или результатах оценки. Лицензия репозитория — Apache-2.0.

Это визуальный энкодер ViT-Huge с патчами 14×14 из модели DFN CLIP, опубликованный библиотекой timm. Репозиторий содержит только веса энкодера изображений; модель предназначена для извлечения признаковых представлений изображений и может использоваться в системах поиска по изображениям или сопоставления визуальных признаков. Модель принимает изображения и выдаёт векторы признаков. В карточке указаны форматы PyTorch и safetensors, а лицензия обозначена как other. Текстовый энкодер CLIP в репозитории не заявлен, поэтому для полноценного сопоставления изображений с текстом он может потребоваться отдельно.

vit_large_patch16_siglip_512.v2_webli — визуальный энкодер SigLIP 2 на архитектуре ViT-Large с патчами 16 пикселей, предназначенный для библиотеки timm. Он соответствует только визуальной башне модели SigLIP 2 и обучен на наборе данных WebLI. Модель преобразует изображения в признаки и подходит для извлечения визуальных представлений, которые можно использовать в системах поиска и анализа изображений. Репозиторий содержит веса PyTorch в формате Safetensors. Лицензия — Apache-2.0. Это только энкодер изображений, поэтому он сам по себе не принимает текст и не генерирует текстовые описания. Карточка не приводит конкретные результаты оценки качества или сведения об ограничениях сверх этого.

Гибридная модель ResNet–Vision Transformer для классификации изображений и извлечения визуальных признаков. Её обучили авторы исследования на ImageNet-21k с дополнительной аугментацией и регуляризацией; Ross Wightman перенёс веса в PyTorch для библиотеки timm. Модель содержит около 44,5 млн параметров, требует изображения размером 224 × 224 и имеет вычислительную сложность около 3,5 GMACs. Она подходит для классификации изображений и получения эмбеддингов как визуальная основа для последующих задач компьютерного зрения. Обучение на ImageNet-21k даёт широкий набор категорий, но карточка не приводит метрики качества и не подтверждает специализацию на конкретных прикладных областях. Репозиторий распространяется по лицензии Apache-2.0.

volo_d3_448.sail_in1k — модель семейства VOLO (Vision Outlooker) для классификации изображений и извлечения визуальных признаков. Она обучена авторами статьи на ImageNet-1k с использованием разметки токенов и предназначена для распознавания объектов на изображениях и получения эмбеддингов для последующей обработки. Модель содержит 86,6 млн параметров, имеет вычислительную сложность 96,3 GMACs и рассчитана на изображения размером 448 × 448 пикселей. Репозиторий предоставляет веса PyTorch и SafeTensors; для работы используется библиотека timm. Лицензия — Apache-2.0. Модель подходит для прикладной классификации изображений и как визуальный backbone. Описание не приводит перечень классов сверх обучения на ImageNet-1k и не сообщает результатов на других наборах данных.