I.8Изображения и компьютерное зрение

vit_so400m_patch14_siglip_378.v2_webli — модель из библиотеки timm, представляющая собой только визуальный энкодер архитектуры ViT в составе SigLIP 2. Она преобразует изображение в признаки и предназначена для извлечения визуальных представлений, в том числе для последующего сопоставления изображений и текста в системах на основе совместимых энкодеров. Модель обучена на датасете WebLI; карточка указывает публикации о SigLIP 2 и sigmoid loss для предварительного обучения языково-визуальных моделей. В метаданных указаны задача image-feature-extraction, библиотека timm и форматы PyTorch и safetensors. Название модели указывает на вариант SO400M с патчами 14 и входным разрешением 378 пикселей. Это визуальная часть SigLIP 2, поэтому сама модель принимает изображения и выдаёт признаки, а не текстовые ответы. Лицензия — Apache-2.0.

Это модель кодировщика изображений SigLIP из библиотеки timm: вариант ViT SO400M с патчами 14×14 и входным разрешением 384 пикселя, обученный на данных WebLI. В репозитории представлены только веса кодировщика изображений с исходным attention pooling. Модель предназначена для извлечения признаковых представлений изображений и может использоваться как визуальный энкодер в системах поиска по изображениям, сопоставления изображений с текстом и других задачах, где нужны визуальные признаки. Карточка указывает форматы PyTorch и safetensors; лицензия — Apache-2.0.

timm/vit_so400m_patch16_siglip_256.v2_webli — визуальный энкодер семейства SigLIP 2 на архитектуре ViT с патчами 16 пикселей, предназначенный для библиотеки timm. Это только часть модели, отвечающая за изображения; она соответствует визуальному энкодеру мультимодальной модели SigLIP 2. Модель обучена на наборе данных WebLI. Основное назначение — извлечение признаковых представлений изображений для последующего поиска, сопоставления или анализа. Репозиторий содержит веса PyTorch и SafeTensors и распространяется по лицензии Apache-2.0. Модель принимает изображения и выдаёт векторы признаков; языковая часть SigLIP в этот чекпойнт не входит.

facebook/webssl-dino3b-light2b-224 — визуальная модель Meta AI на архитектуре Vision Transformer, обученная методом самообучения DINOv2 на веб-изображениях без языковой супервизии. Вариант light2b обучен на подмножестве данных MetaCLIP, включающем изображения с текстовым содержимым; размер модели в метаданных — 3,9 млрд параметров, разрешение обучения — 224×224 пикселя. Модель предназначена для извлечения визуальных признаков и представлений изображений, которые можно использовать в задачах компьютерного зрения. Разработчики отмечают сильные результаты в распознавании текста и понимании диаграмм, сохраняя широкую применимость к визуальным задачам. Это не языковая модель: она обучена без языковой супервизии. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

XCiT Small/12 P16 384 — модель классификации изображений на основе Cross-Covariance Image Transformer (XCiT), опубликованная авторами XCiT и доступная в библиотеке timm. Она обучена на ImageNet-1k с дистилляцией и предназначена для классификации изображений, а также может использоваться как визуальная основа для получения признаковых представлений. Модель содержит 26,3 млн параметров и рассчитана на изображения размером 384 × 384 пикселя; вычислительная сложность указана как 14,1 GMACs. Модель принимает изображения и выдаёт классовые предсказания либо эмбеддинги изображений. Она подходит для распознавания объектов и категорий на изображениях общего назначения. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

aimv2_3b_patch14_224.apple_pt — веса визуального энкодера AIM-v2, опубликованные в экосистеме timm и совместимые с библиотекой timm. Модель предназначена для извлечения признаков из изображений; метаданные указывают задачу image-feature-extraction и форматы PyTorch и Safetensors. В названии указаны вариант на 3 млрд параметров, патчи размером 14 и входное разрешение 224 пикселя. Карточка не описывает дополнительные сценарии применения, языковую поддержку или ограничения качества. Указана лицензия apple-ascl; перед использованием следует проверить её условия.

AIMv2 Large Patch14 224 — модель компьютерного зрения из семейства AIMv2, разработанного Apple. Это зрительная энкодерная модель с 308,3 млн параметров, обученная с мультимодальной авторегрессионной целью; репозиторий содержит веса в форматах Flax и safetensors и предназначен для извлечения признаков изображений через Transformers. Модель принимает изображение и выдаёт его векторное представление. Такие признаки подходят для задач визуального поиска и построения систем сопоставления изображений с текстом или другими изображениями. В README сообщается, что семейство AIMv2 превосходит CLIP и SigLIP на большинстве бенчмарков мультимодального понимания, а также DINOv2 в обнаружении объектов с открытым словарём и понимании выражений, указывающих на объекты; эти результаты относятся к семейству в целом. Карточка демонстрирует загрузку модели через Flax и библиотеку Transformers. Указана лицензия Apple AMLR. Модель принимает изображения и сама по себе не генерирует текст; языки её работы не обозначены.

BEiT-base-patch16-224 — модель классификации изображений на основе Vision Transformer, разработанная Microsoft и представленная в работе BEIT: BERT Pre-Training of Image Transformers. Модель содержит около 119,5 млн параметров. Её предварительно обучали без учителя на ImageNet-21k, а затем дообучили с учителем на ImageNet-1k для распознавания изображений по 1 000 классам. Модель принимает изображения размером 224×224 пикселя, разбивает их на патчи 16×16 и обрабатывает трансформерным энкодером с относительными позиционными эмбеддингами. Её можно применять для классификации изображений, а также использовать как основу для извлечения признаков и обучения классификаторов на размеченных наборах данных. Для повышения качества при дообучении в README упоминается разрешение 384×384. Модель предназначена для изображений, похожих на данные ImageNet; точность на иных предметных областях зависит от данных и настройки. Лицензия — Apache-2.0. Для работы доступны веса PyTorch, Flax и Safetensors.

BEiT-v2 Large — модель классификации изображений и визуальный backbone из семейства BEiT, опубликованный авторами библиотеки timm. Модель содержит 325,8 млн параметров и обрабатывает изображения размером 224 × 224 пикселя. Она обучалась на ImageNet-1k методом masked image modeling с VQ-KD визуальным токенизатором, созданным с учителем OpenAI CLIP B/16, а затем была дообучена на ImageNet-22k. Модель предназначена для классификации изображений и получения визуальных эмбеддингов, которые можно использовать как признаки в последующих задачах компьютерного зрения. В карточке также указаны вычислительная сложность 61,6 GMACs и 63,5 млн активаций. Репозиторий предоставляет веса PyTorch и safetensors; лицензия — Apache-2.0. Карточка не приводит детальных оценок качества или ограничений по данным применения.

caformer_s18.sail_in1k_384 — модель классификации изображений семейства CAFormer и архитектуры MetaFormer, разработанная авторами работы MetaFormer Baselines for Vision. Она обучена на ImageNet-1k и предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Модель содержит 26,3 млн параметров, выполняет около 13,4 GMACs и рассчитана на входные изображения размером 384 × 384 пикселя. Модель доступна в форматах PyTorch и Safetensors через библиотеку timm. Лицензия — Apache-2.0. Обучение на ImageNet-1k задаёт основной сценарий применения — распознавание объектов из набора классов ImageNet; для других предметных областей может потребоваться дополнительная настройка. Карточка не сообщает о поддержке других модальностей или языковых задач.

CoAtNet-2 RW 224 — модель классификации изображений из библиотеки timm, разработанная Ross Wightman и обученная на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом. Она сочетает свёрточные блоки MBConv на ранних этапах с блоками self-attention на поздних, объединяя обработку локальных признаков и глобальных зависимостей. Модель предназначена для классификации изображений и может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. Расчётный размер входного изображения — 224 × 224 пикселя; модель содержит около 85 млн параметров и требует 15,1 GMACs на изображение. Репозиторий предоставляет веса PyTorch и SafeTensors. Обучение на ImageNet-12k даёт модели широкий набор визуальных категорий, однако карточка не приводит метрики именно для этого варианта. Для применения к другим наборам классов может потребоваться адаптация или дообучение. Лицензия — Apache-2.0.

CoAtNet-RMLP — модель классификации изображений из библиотеки timm, обученная Ross Wightman на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом. Она сочетает свёрточные блоки MBConv на ранних этапах обработки с блоками внимания трансформера на поздних. В названии указана настройка MLP Log-CPB — непрерывного относительного смещения позиций в логарифмических координатах, мотивированная Swin Transformer V2. Модель рассчитана на классификацию изображений размером 224 × 224 и может использоваться как основа для извлечения признаков и построения эмбеддингов изображений. В ней около 50 млн параметров; вычислительная сложность указана как 8,1 GMAC. Репозиторий содержит веса PyTorch и Safetensors. Модель предназначена для классификации по категориям, представленным в обучающих данных; README не приводит отдельной оценки качества именно этой версии. Лицензия — Apache-2.0.

ConvNeXt Atto — компактная сверточная модель классификации изображений, обученная Ross Wightman с библиотекой timm на ImageNet-1k. Она подходит для определения объектов и сцен на изображениях, а также может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов. Модель содержит около 3,7 млн параметров и требует примерно 0,6 GMAC на изображение. Размер изображения при обучении — 224 × 224 пикселя, при тестировании — 288 × 288. Для работы с изображениями и извлечения признаков предусмотрена библиотека timm; доступны веса PyTorch и safetensors. Лицензия — Apache-2.0. Модель обучена на ImageNet-1k и ориентирована на классификацию изображений общего назначения. Её компактный размер снижает вычислительные затраты, однако качество распознавания зависит от соответствия входных изображений обучающим данным; для специализированных областей может потребоваться дополнительная адаптация.

Это веса визуального энкодера ConvNeXt-Base из семейства CLIP, опубликованные разработчиками timm. Модель предназначена для извлечения признаков изображений и получения векторных представлений, которые можно использовать в системах поиска и сравнения изображений или как визуальные признаки для других задач машинного обучения. В репозитории представлены только веса image encoder, а не полная мультимодальная CLIP-модель. Указаны форматы PyTorch и Safetensors, библиотека timm и лицензия Apache-2.0. Карточка не сообщает размер модели, длину контекста, поддерживаемые языки или конкретные ограничения качества.

ConvNeXt-Large — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Её разработал Ross Wightman в библиотеке timm: веса визуального энкодера CLIP предварительно обучены с OpenCLIP на LAION-2B, затем дообучены на ImageNet-1k. Модель содержит около 200,1 млн параметров, требует входные изображения размером 256 × 256 и может использоваться как классификатор, основа для извлечения карт признаков или получения эмбеддингов изображений. В карточке приведены метрики ImageNet-1k и сравнение с другими моделями timm. Модель принимает изображения и выдаёт метки классов, карты признаков или векторы эмбеддингов. Лицензия репозитория — Apache-2.0. Карточка не описывает ограничения точности или сценарии, в которых модель может ошибаться; качество зависит от соответствия входных изображений обучающим данным и целевой задаче.

convnext_nano.in12k_ft_in1k — модель классификации изображений на архитектуре ConvNeXt из библиотеки timm. Её обучил Росс Уайтман: предварительно на подмножестве ImageNet-12k из 11 821 класса, затем дообучил на ImageNet-1k. Модель содержит 15,6 млн параметров и предназначена также для извлечения признаковых карт и эмбеддингов изображений. Модель подходит для классификации изображений по категориям ImageNet и как компактная визуальная основа для задач, которым нужны признаки изображений. В карточке приведены размеры изображений 224×224 для обучения и 288×288 для тестирования. Репозиторий содержит веса PyTorch и Safetensors и использует библиотеку timm. Лицензия — Apache-2.0.

ConvNeXt-Tiny — сверточная модель для классификации изображений и извлечения признаков, обученная Россом Уайтменом в библиотеке timm на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом. Модель содержит 36,9 млн параметров; указанное разрешение входного изображения — 224 × 224 пикселя. Модель предназначена для предсказания классов изображений, извлечения карт признаков и получения векторных представлений изображений. Её можно использовать как основу для классификации и визуального поиска. В README приведено исследование скорости и точности на других моделях, но метрики ConvNeXt-Tiny для этой карточки не указаны. Репозиторий содержит веса в форматах PyTorch и Safetensors и рассчитан на использование с timm. Лицензия — Apache-2.0.

ConvNeXt Tiny — модель классификации изображений из библиотеки timm, разработанная Ross Wightman. Её предварительно обучили на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом, а затем дообучили на ImageNet-1k. Модель также можно использовать как основу для извлечения признаков и эмбеддингов изображений. Архитектура ConvNeXt содержит 28,6 млн параметров и требует 4,5 GMACs на изображение. Размер изображения при обучении — 224 × 224 пикселя, при тестировании — 288 × 288. Для загрузки доступны веса PyTorch и safetensors; модель предназначена для обработки изображений и выдаёт метки классов. Модель подходит для классификации изображений общего назначения и извлечения визуальных признаков. Её обучение и оценки в карточке связаны с ImageNet, поэтому качество на других предметных областях и распределениях данных может отличаться. Лицензия — Apache-2.0.

ConvNeXt XLarge — свёрточная модель классификации изображений из семейства timm, основанная на архитектуре ConvNeXt, описанной авторами статьи «A ConvNet for the 2020s». Модель предварительно обучена на ImageNet-22k и дообучена на ImageNet-1k; число параметров — около 350,2 млн, расчётный размер изображения — 384 × 384 пикселя. Репозиторий предоставляет веса PyTorch и Safetensors и использует библиотеку timm. Модель предназначена для классификации изображений по категориям ImageNet-1k. Её также можно применять как визуальный backbone для извлечения карт признаков и эмбеддингов изображений. Лицензия — Apache-2.0. Высокая вычислительная стоимость и обучение на ImageNet ограничивают её применимость к другим предметным областям без дополнительной адаптации.

NVIDIA C-RADIOv4-1D-H — модель для извлечения признаков из RGB-изображений. Это дообученная версия C-RADIOv4-H, созданная методом дистилляции с несколькими учителями: SigLIP2-g, DINOv3-7B и SAM3. Энкодер на базе Vision Transformer ViT-H/16 содержит около 1,14 млрд параметров; дополнительный декодер использовался только при обучении. На этапе применения модель преобразует изображение в последовательность от 1 до 256 эмбеддинговых токенов. Число токенов выбирает вызывающее приложение, регулируя баланс между скоростью и детализацией: ранние токены передают глобальную семантику, последующие — более тонкие признаки. Модель подходит для классификации изображений, поиска похожих изображений с учётом объектов и их расположения, а также как визуальный энкодер для мультимодальных моделей; для сегментации требуется декодер, а для использования эмбеддингов — downstream-приложение. Поддерживаются RGB-изображения размером до 2048×2048 пикселей с шагом 16. Модель заявлена для коммерческого и некоммерческого использования по NVIDIA Open Model License Agreement. Она выдаёт признаки, а не готовые текстовые ответы или метки; качество конечной системы зависит от downstream-модели и выбранного бюджета токенов.

CRAFT (Character-Region Awareness For Text detection) — модель обнаружения текста на изображениях, опубликованная в репозитории Hezarai и предназначенная для использования с библиотекой Hezar версии 0.40.0 или новее. Она выделяет области с текстом и рассчитана на многоязычные изображения; в карточке отдельно отмечена поддержка персидского языка, также заявлена работа с другими языками. Модель подходит для поиска текстовых областей на сканах, фотографиях и других изображениях перед последующим распознаванием текста. Метаданные относят её к задаче object-detection; файлы репозитория представлены в формате PyTorch. README не приводит сведения о размере модели, длине контекста или лицензии.

DBNet — модель компьютерного зрения для обнаружения текстовых областей на естественных изображениях, подготовленная shuzi-mewtant для использования с библиотекой Hugging Face Transformers. В архитектуре DBNet используется backbone ResNet-18 и Feature Pyramid Network для объединения признаков разных масштабов. Модель принимает RGB-изображение, автоматически изменяет его размер или дополняет до входа 1024×1024 пикселя и формирует карты вероятностей для локализации текста. Модель предназначена для поиска горизонтальных и наклонённых текстовых областей, например на фотографиях вывесок и уличных сцен. Для лучшей локализации README описывает постобработку с NMS и расширением рамок; обучение проводилось на ICDAR 2015. Карточка не приводит конкретных метрик качества. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

deepseekvit412m.deepseekv4flashvisionexp — визуальный энкодер на базе DeepSeek-V4-Flash-Vision-Exp, преобразованный в формат timm командой timm. Это нативное сопоставление весов исходной модели без дополнительного обучения; в репозитории нет весов языковой модели и обученной головы классификации. Модель извлекает признаки изображений для последующего использования в компьютерном зрении. Архитектура включает ViT с патчами 14×14, шириной 1024, блоками SwiGLU, RMSNorm и двумерным осевым RoPE без обучаемых абсолютных позиционных эмбеддингов. Модель содержит около 411,8 млн параметров; указанный размер изображения — 392×392. Она принимает RGB-изображения и выдаёт признаки или эмбеддинги изображения. Лицензия — MIT. Модель подходит как визуальный бэкбон для извлечения признаков и последующей адаптации под классификацию или другие задачи компьютерного зрения. Для классификации требуется обучить новую линейную голову на целевом наборе данных. Входные размеры по умолчанию должны делиться на 14; динамическое дополнение до размера патча не воспроизводит исходную политику адаптивного масштабирования. Предобработка timm также немного отличается от исходной: используется серое заполнение значением 128 вместо 127.

DeiT-III Huge Patch14 — модель классификации изображений и извлечения признаков из семейства Vision Transformer. Разработана авторами исследования DeiT III: Revenge of the ViT; веса предварительно обучены на ImageNet-22k, затем дообучены на ImageNet-1k. Модель содержит 632,1 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet и может использоваться как визуальный backbone для извлечения признаков. Репозиторий доступен в форматах PyTorch и Safetensors для библиотеки timm. Лицензия — Apache-2.0. Большой размер модели и вычислительная стоимость могут затруднять её использование на устройствах с ограниченными ресурсами. Карточка описывает обучение и датасеты ImageNet, поэтому качество на других наборах категорий может отличаться.

Это компактная модель DeiT для классификации изображений, опубликованная в библиотеке timm. Авторы статьи обучили её на ImageNet-1k с использованием дистилляционного токена; архитектура относится к семейству Vision Transformer. Модель содержит около 5,9 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для определения класса объекта на изображении, извлечения признаков и получения эмбеддингов изображений. Компактный размер и вычислительная стоимость около 1,3 GMAC делают её пригодной для сценариев, где важны скорость и экономное использование ресурсов. Она обучена на ImageNet-1k, поэтому её классы и качество вне этого набора данных могут не соответствовать конкретной прикладной задаче без дополнительной адаптации. Весы доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

ecaresnet50t.a1_in1k — свёрточная модель классификации изображений из библиотеки timm, разработанная командой timm. Она основана на архитектуре ECA-ResNet-T: использует остаточные блоки ResNet и механизм Efficient Channel Attention. Модель содержит 25,6 млн параметров, требует около 4,3 GMACs и обучена на ImageNet-1k по рецепту ResNet Strikes Back A1. Размер входного изображения при обучении составлял 224×224 пикселя, при оценке — 288×288. Модель предназначена для классификации изображений по категориям ImageNet-1k; её также можно использовать как визуальную основу для извлечения карт признаков и эмбеддингов. Она принимает изображения и выдаёт оценки классов. Репозиторий содержит веса PyTorch и Safetensors. Лицензия Apache-2.0 допускает коммерческое использование при соблюдении её условий.

EfficientViT L3 — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков, обученная авторами статьи на ImageNet-1k и представленная в библиотеке timm. Она принимает изображения размером 256 × 256 пикселей и содержит около 246 млн параметров; вычислительная сложность составляет 36,1 GMACs. Архитектура EfficientViT использует многоуровневое линейное внимание и может служить основой для плотного анализа изображений. Модель подходит для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. В карточке указана лицензия Apache-2.0. Результаты на других наборах данных и ограничения применения в карточке не описаны.

EVA-02 Large Patch14 224 MIM In22k — визуальная модель представлений на базе Vision Transformer из библиотеки timm. Её обучили авторы работы EVA-02 на ImageNet-22k методом masked image modeling с EVA-CLIP в роли учителя. Модель содержит около 303,3 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для извлечения признаков и эмбеддингов изображений, а также может использоваться как backbone для классификации. Архитектура включает mean pooling, SwiGLU, Rotary Position Embeddings и дополнительный LayerNorm в MLP. Контрольные точки timm сохранены в float32; в исходных версиях могут использоваться float16 или bfloat16. Лицензия — MIT. Модель работает с изображениями и не предназначена для обработки текста, аудио или видео. Результаты классификации и представления могут зависеть от предметной области и отличаться от качества на ImageNet-22k; размер модели также требует значительных вычислительных ресурсов.

FastViT-SA24 — модель классификации изображений и визуальный backbone семейства FastViT, обученная авторами статьи на ImageNet-1k. Репозиторий timm предоставляет веса в форматах PyTorch и Safetensors; для работы используется библиотека timm. Модель содержит 21,6 млн параметров, имеет вычислительную сложность 3,8 GMACs и рассчитана на изображения размером 256 × 256 пикселей. Модель подходит для классификации изображений по категориям ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. FastViT — гибридная архитектура Vision Transformer с структурной репараметризацией. В карточке указано требование соблюдать исходную лицензию, однако конкретные условия лицензии не приведены.

Florence-2-base — преобразованный официальный чекпойнт Microsoft Florence-2, опубликованный сообществом florence-community для Transformers. Это компактная плотная модель vision-language с архитектурой Florence2ForConditionalGeneration и примерно 0,23 млрд параметров. В карточке указана версия продолженного предобучения Florence-2-large с контекстом 4 тыс. токенов; авторы предупреждают, что для этого этапа использовали лишь 0,1 млрд примеров и модель могла обучиться недостаточно хорошо. Модель принимает изображение и текстовый запрос, а результат формирует в текстовом виде. Смена запроса позволяет получать подписи к изображениям, описания областей, предложения регионов, обнаруживать объекты, связывать фразы с областями изображения и выполнять OCR, в том числе с координатами областей текста. Florence-2 рассчитана на широкий круг задач компьютерного зрения и vision-language; карточка также приводит результаты для сегментации и визуальных вопросов и ответов. Модель обучалась на наборе FLD-5B с аннотациями к изображениям. В README отмечено изменение OCR: строки текста разделяются символом новой строки. Качество конкретных задач следует проверять отдельно; авторы предупреждают о возможном недостаточном обучении этой версии. Лицензия репозитория — MIT.