I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельPP-OCRv5_mobile_det — мобильная модель обнаружения текста из серии PP-OCRv5_det, разработанная командой PaddleOCR. Она находит текстовые области на изображениях для использования в OCR-конвейерах, анализе документов, распознавании номерных знаков и обнаружении текста в сценах. Модель рассчитана на печатный и рукописный текст на упрощённом и традиционном китайском, английском и японском языках. Она предназначена для работы с вертикальным, повёрнутым и изогнутым текстом, разными размерами надписей и сложным фоном. Это модуль обнаружения текста: для получения распознанного текста его сочетают с отдельной моделью распознавания. Модель доступна под лицензией Apache-2.0 и предназначена для использования через библиотеку PaddleOCR. В README приведены метрики точности на наборах сценариев, включая рукописный и печатный текст, поворот, искажения и художественные надписи; среднее значение в таблице составляет 0,770. Размер модели и ограничения по аппаратному обеспечению в предоставленных сведениях не описаны.
PP-OCRv6_medium_det — модель обнаружения текстовых областей на изображениях из семейства PP-OCRv6, разработанного командой PaddleOCR. Она предназначена для локализации строк текста в OCR-конвейерах и может применяться к печатному и рукописному тексту, повёрнутым, изогнутым и художественно оформленным надписям, а также к изображениям промышленных сцен. Модель использует архитектуру LCNetV4 в качестве backbone и RepLKFPN в качестве шеи детектора; в README указан размер 15,5 млн параметров. В описании семейства заявлена поддержка 48 языков и сценариев вроде цифровых дисплеев, точечно-матричной печати и маркировки на шинах; метаданные карточки указывают английский и китайский языки. Модель является частью лёгкой линейки, рассчитанной на развёртывание в разных условиях. Для использования указана лицензия Apache-2.0. Поскольку это детектор, он локализует текст, но сам по себе не распознаёт содержимое строк.
timm/qwen3_vit_416m_merge.qwen3_vl_235b_a22b — модель-энкодер изображений, созданная как перенос весов зрительной части Qwen3-VL-235B-A22B-Instruct в формат timm. По README, веса зрения не дообучались: языковая модель и обученная голова классификации в репозитории отсутствуют. Энкодер возвращает пространственные признаки и объединённые эмбеддинги изображения; для классификации к нему нужно добавить и обучить собственную голову. Модель содержит 455,1 млн параметров, ширину визуального бэкбона 1152 и проекцию шириной 4096. Она обрабатывает RGB-изображения, поддерживает прямоугольные размеры и использует среднее объединение признаков. Размер каждой стороны должен делиться на 16, а при использовании варианта с мерджером 2×2 — на 32. Заявленный размер изображения — 768×768. Подходит для извлечения визуальных признаков, получения эмбеддингов и подготовки бэкбона для последующего обучения классификатора. Это не полная Qwen3-VL: языковые веса, обработка текста и видео, а также проекторы DeepStack не включены. Лицензия — Apache 2.0.
Это визуальный энкодер Qwen3 ViT для извлечения признаков изображений, опубликованный в репозитории timm/qwen3_vit_416m.qwen3_8_flash_next. Модель содержит 415 млн параметров и представляет собой преобразование весов зрительной части Qwen3.8-Flash-Next в формат timm; дополнительного обучения при конвертации не было. В репозитории нет весов языковой модели и обученной головы классификации. Энкодер преобразует RGB-изображения в пространственные признаки и векторные представления. Использует MLP с GELU-tanh, обучаемые абсолютные позиции и осевой 2D RoPE; поддерживает изображения разных пропорций. Базовый размер изображения — 768 × 768. Размеры сторон должны делиться на 16, а для вариантов с объединением 2×2 — на 32. Для классификации необходимо обучить новую линейную голову на целевом наборе данных. Модель подходит для извлечения признаков и подготовки визуальных представлений для последующих задач компьютерного зрения. Опубликована под лицензией Qwen Community License 1.0.
RepViT M1.5 — модель классификации изображений и извлечения признаков, опубликованная авторами статьи RepViT. Она обучена на ImageNet-1k с дистилляцией и рассчитана на обработку изображений размером 224 × 224 пикселя. Модель содержит около 14,6 млн параметров и требует примерно 2,3 GMAC на изображение. Модель подходит для классификации изображений по классам ImageNet-1k, извлечения карт признаков и получения эмбеддингов изображений. Архитектура RepViT разработана как мобильная свёрточная сеть с учётом подходов из Vision Transformer; репозиторий содержит веса PyTorch и SafeTensors для библиотеки timm. Лицензия Apache-2.0 допускает использование модели на её условиях. Обучение описано для ImageNet-1k, поэтому качество на других наборах данных и предметных областях может отличаться; модель принимает изображения фиксированного размера, указанного в карточке.
ResNet-T — сверточная модель классификации изображений из библиотеки timm, разработанная как классификатор и базовая сеть для извлечения признаков. Версия resnet14t.c3_in1k обучена на ImageNet-1k по рецепту ResNet Strikes Back C с оптимизатором SGD с Nesterov, адаптивным ограничением градиента и косинусным расписанием скорости обучения с разогревом. Модель содержит 10,1 млн параметров и требует около 1,1 GMAC на изображение. В её архитектуре используются активации ReLU, трёхслойная начальная часть из свёрток 3×3 с пулингом и обходные соединения с усредняющим пулингом 2×2 и свёрткой 1×1. Обучение выполнялось на изображениях 176×176, для оценки рекомендован размер 224×224. Модель принимает изображения и выдаёт классы ImageNet; её также можно применять для извлечения карт признаков и эмбеддингов. Лицензия — Apache-2.0. Описание не приводит ограничений по применению; качество классификации за пределами ImageNet-1k отдельно не характеризуется.
ResNeXt-101 32x4d — сверточная модель классификации изображений из библиотеки timm. Авторы статьи сначала обучили её на хештегах Instagram-1B методом полу-слабого обучения, затем дообучили на ImageNet-1k. Модель содержит 44,2 млн параметров и использует групповые свёртки в bottleneck-блоках; для классификации рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для отнесения изображений к категориям ImageNet-1k, а также может использоваться как основа для извлечения карт признаков и эмбеддингов изображений. В карточке приведены варианты применения через timm и сравнительные метрики, но результаты для этой модели отдельно не указаны. Репозиторий предоставляет веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель обучена для классификации ImageNet-1k, поэтому её классы и качество могут не соответствовать специализированным или отличающимся от ImageNet изображениям.
ReXNet-300 — сверточная модель классификации изображений из семейства ReXNet, опубликованная авторами статьи «Rethinking Channel Dimensions for Efficient Model Design». Версия nav_in1k предварительно обучена на ImageNet-1k; модель содержит около 34,7 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. В репозитории доступны веса PyTorch и Safetensors, а для работы указана библиотека timm. Модель подходит для классификации изображений по категориям ImageNet-1k и может использоваться как визуальный backbone для извлечения карт признаков или эмбеддингов. В приведённом сравнении её точность составляет 82,772% top-1 и 96,232% top-5. Лицензия — MIT. Карточка не описывает поддержку языкового ввода или генерацию изображений.
Это веса малого варианта визуального энкодера HieraDet из семейства SAM2, опубликованные командой timm. Репозиторий содержит только энкодер изображений, а не полную систему сегментации SAM2. Модель предназначена для извлечения признаковых представлений изображений и может служить компонентом визуальных конвейеров, включая задачи компьютерного зрения.
Veritone/siglip2-so400m-patch14-384-vision — урезанная копия визуальной башни SigLIP 2 So400m, разработанной Google. Она кодирует изображения и видеокадры в общее пространство эмбеддингов SigLIP 2 и предназначена для загрузки отдельно от текстовой башни, например при индексации, что позволяет сократить расход памяти и время загрузки. Текстовая башня для работы с текстовыми запросами размещена в Veritone/siglip2-so400m-patch14-384-text. Модель подходит для классификации изображений по кандидатным текстовым меткам без отдельного обучения, поиска изображений по тексту и использования в качестве визуального энкодера для vision-language моделей. SigLIP 2 улучшает семантическое понимание, локализацию и получение плотных визуальных признаков. Это модель семейства SigLIP с архитектурой SiglipModel; файлы представлены в формате safetensors. Лицензия — Apache-2.0. Для retrieval сценариев эта репозитория содержит только визуальную часть, поэтому требуется отдельная совместимая текстовая башня.
aehrc/uniformer_base_tl_384 — реализация UniFormer-B для Transformers с дообучением на изображениях высокого разрешения 384×384. Модель разработана AEHRC и предназначена для извлечения признаковых представлений изображений, которые можно использовать в последующих задачах компьютерного зрения. Архитектура относится к семейству UniFormer; веса размещены в формате safetensors. Карточка указывает на дообучение при разрешении 384×384, но не приводит подробностей о датасете или конкретных сценариях применения. Для запуска заявлена библиотека Transformers. Модель принимает изображения и выдаёт признаки. Лицензия в предоставленных сведениях не указана.
VideoMAEv2-Base — базовая видеомодель OpenGVLab, предварительно обученная 800 эпох методом самообучения на наборе UnlabeledHybrid-1M. Модель относится к семейству VideoMAE-v2 и предназначена для извлечения признаков из видео и классификации видеоконтента. Модель принимает видео и выдаёт признаки, пригодные для последующей классификации. В карточке указана лицензия CC BY-NC 4.0, которая ограничивает использование некоммерческими целями.
Модель vithugepatch14clip336.laion2bftin12kin1k разработана проектом timm и представляет собой Vision Transformer (ViT) для классификации изображений и извлечения признаков. Она предварительно обучена на парах изображений и текстов LAION-2B с помощью OpenCLIP, затем дообучена на ImageNet-12k и ImageNet-1k. Модель содержит около 632,5 млн параметров и рассчитана на входные изображения размером 336 × 336 пикселей. Её можно применять для классификации изображений и получения визуальных эмбеддингов в задачах компьютерного зрения. Репозиторий предоставляет веса в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Большой размер модели и вычислительная нагрузка (363,7 GMACs) требуют существенных ресурсов. Описание подтверждает обучение на ImageNet и LAION, но не приводит результатов на конкретных пользовательских наборах данных.
Это Vision Transformer ViT-Small с размером патча 14 и входным разрешением 518 пикселей, перенесённый в формат Apple MLX из модели DINOv2. Разработчик указывает, что модель обучалась в самообучаемом режиме на ImageNet-1k; обучена только основная сеть, классификационная голова отсутствует. В метаданных указаны библиотека mlx-image и формат safetensors. Модель предназначена для извлечения визуальных признаков и просмотра карт внимания; карточка также описывает её применение для классификации изображений. Поскольку классификационная голова не обучалась, для получения меток классов потребуется отдельная голова или другой способ классификации. Репозиторий опубликован по лицензии Apache-2.0.
VOLO D5 448 SAIL IN1K — модель классификации изображений семейства VOLO (Vision Outlooker), разработанная авторами статьи VOLO и обученная на ImageNet-1k с разметкой токенов. Она определяет класс объекта на изображении и может использоваться как визуальная backbone-модель для извлечения признаков. Модель содержит около 295,9 млн параметров, обрабатывает изображения размером 448 × 448 пикселей и требует примерно 315,1 GMAC на проход. Репозиторий предоставляет веса PyTorch и SafeTensors; лицензия — Apache-2.0. Также поддерживается получение эмбеддингов изображений. Модель предназначена для классификации изображений общего назначения по категориям ImageNet-1k и извлечения визуальных признаков. README не уточняет ограничения на типы изображений за пределами обучающего набора; качество на других доменах может отличаться от качества на ImageNet-1k.
Карточка модели MiniMaxAI/VTP-Base-f16d64 на Hugging Face совпадает с карточкой MiniMaxAI/VTP-Large-f16d64, поэтому описание составлено по ней. VTP-Large-f16d64 — крупный визуальный токенизатор, обученный командой MiniMax совместно с исследователями Huazhong University of Science and Technology. Модель реализует подход Visual Tokenizer Pre-training (VTP): совместно оптимизирует контрастивное обучение изображений и текста, самообучение и реконструкцию, чтобы формировать латентные представления изображений с семантической информацией. Модель предназначена для извлечения признаков изображений, классификации без примеров и с линейным пробингом, реконструкции изображений и подготовки латентных представлений для генеративных моделей, включая DiT. В отчёте авторы приводят точность zero-shot-классификации 78,2, rFID 0,36 и ускорение сходимости генерации в 3 раза по сравнению с рассмотренными методами дистилляции. Репозиторий содержит веса в формате safetensors; для использования предлагается библиотека Transformers. Авторы отмечают, что работа ещё продолжается. Для модели указана лицензия other, поэтому условия использования следует проверять в материалах проекта перед внедрением. README описывает визуальные сценарии, но не приводит сведения о поддержке текстового входа в самой модели.
VTP-Large-f16d64 — крупный визуальный токенизатор, обученный командой MiniMax совместно с исследователями Huazhong University of Science and Technology. Модель реализует подход Visual Tokenizer Pre-training (VTP): совместно оптимизирует контрастивное обучение изображений и текста, самообучение и реконструкцию, чтобы формировать латентные представления изображений с семантической информацией. Модель предназначена для извлечения признаков изображений, классификации без примеров и с линейным пробингом, реконструкции изображений и подготовки латентных представлений для генеративных моделей, включая DiT. В отчёте авторы приводят точность zero-shot-классификации 78,2, rFID 0,36 и ускорение сходимости генерации в 3 раза по сравнению с рассмотренными методами дистилляции. Репозиторий содержит веса в формате safetensors; для использования предлагается библиотека Transformers. Авторы отмечают, что работа ещё продолжается. Для модели указана лицензия other, поэтому условия использования следует проверять в материалах проекта перед внедрением. README описывает визуальные сценарии, но не приводит сведения о поддержке текстового входа в самой модели.
Карточка модели MiniMaxAI/VTP-Small-f16d64 на Hugging Face совпадает с карточкой MiniMaxAI/VTP-Large-f16d64, поэтому описание составлено по ней. VTP-Large-f16d64 — крупный визуальный токенизатор, обученный командой MiniMax совместно с исследователями Huazhong University of Science and Technology. Модель реализует подход Visual Tokenizer Pre-training (VTP): совместно оптимизирует контрастивное обучение изображений и текста, самообучение и реконструкцию, чтобы формировать латентные представления изображений с семантической информацией. Модель предназначена для извлечения признаков изображений, классификации без примеров и с линейным пробингом, реконструкции изображений и подготовки латентных представлений для генеративных моделей, включая DiT. В отчёте авторы приводят точность zero-shot-классификации 78,2, rFID 0,36 и ускорение сходимости генерации в 3 раза по сравнению с рассмотренными методами дистилляции. Репозиторий содержит веса в формате safetensors; для использования предлагается библиотека Transformers. Авторы отмечают, что работа ещё продолжается. Для модели указана лицензия other, поэтому условия использования следует проверять в материалах проекта перед внедрением. README описывает визуальные сценарии, но не приводит сведения о поддержке текстового входа в самой модели.
XCiT Nano 12/16 с входом 224×224 — компактная модель классификации изображений семейства Cross-Covariance Image Transformer. Её разработали авторы статьи XCiT и предварительно обучили на ImageNet-1k; карточка Hugging Face указывает библиотеку timm и форматы PyTorch и Safetensors. Модель содержит около 3,1 млн параметров и требует примерно 0,6 GMAC на изображение. Модель предназначена для классификации изображений и может использоваться как визуальная основа для извлечения признаков и эмбеддингов. Компактный размер подходит для экспериментов и сценариев, где важны вычислительная экономичность и фиксированный входной размер 224×224. Обучение на ImageNet-1k ориентирует её на распознавание объектов из набора классов этого датасета. Лицензия — Apache-2.0. Модель принимает изображения и выдаёт классовые предсказания; в режиме извлечения признаков также формирует векторные представления. Она не предназначена для понимания текста или обработки изображений произвольного разрешения без соответствующей подготовки.
EPFL-VILAB/4M-7_B_CC12M — предварительно обученная модель семейства 4M, выпущенная авторами фреймворка 4M, представленными исследователями EPFL-VILAB. Она использует массовое мультимодальное моделирование с маскированием и предназначена для задач преобразования между разными модальностями в формате any-to-any. Семейство 4M ориентировано на широкий спектр задач компьютерного зрения и работу с множеством модальностей; модель распространяется в формате safetensors и загружается через библиотеку ml-4m. Лицензия указана как other, поэтому конкретные условия использования следует сверить с файлами репозитория.
AIMv2-3B-patch14-224 — модель компьютерного зрения семейства AIMv2, разработанная Apple и представленная в исследовательской работе AIMv2. Это зрительный энкодер с 2,7 млрд параметров, предварительно обученный с мультимодальной авторегрессионной целью. Репозиторий содержит веса Flax и safetensors и предназначен для извлечения признаков из изображений через Transformers. Модель можно применять как визуальный энкодер для распознавания объектов и других задач понимания изображений. В карточке семейства сообщается о результатах выше CLIP и SigLIP на большинстве мультимодальных бенчмарков, превосходстве DINOv2 в детекции объектов с открытым словарём и понимании отсылочных выражений, а также о 89,5% на ImageNet для AIMv2-3B с замороженным энкодером. Эти показатели относятся к описанию семейства, а не обязательно к отдельной оценке данного чекпойнта. Лицензия — apple-amlr; ограничения лицензии следует учитывать при использовании.
CaiT-XXS36-224.fb_dist_in1k — модель классификации изображений на архитектуре CaiT (Class-Attention in Image Transformers), опубликованная авторами timm. Она предварительно обучена на ImageNet-1k с дистилляцией и может использоваться как классификатор или как визуальный backbone для извлечения признаков. Модель содержит 17,3 млн параметров, требует изображения размером 224 × 224 пикселя и рассчитана на работу с классами ImageNet-1k. Репозиторий предоставляет веса в форматах PyTorch и safetensors; лицензия — Apache-2.0. Модель обрабатывает изображения и выдаёт метки классов либо векторы признаков. Ограничения: качество и набор классов ориентированы на ImageNet-1k; карточка не описывает проверку на других типах изображений.
fxmarty/clip-vision-model-tiny — модель извлечения признаков изображения, опубликованная пользователем fxmarty на Hugging Face. По метаданным это модель архитектуры CLIPVisionModel с 2,5 млн параметров, распространяемая в формате Safetensors; карточка указывает задачу feature-extraction и лицензию MIT. Модель предназначена для получения признаковых представлений из изображений и может использоваться в конвейерах компьютерного зрения, где нужны такие признаки. Доступные сведения не описывают обучение, поддерживаемые языки, длину контекста или сравнительные показатели качества; README карточки пуст.
CrossViT-9-Dagger-240.in1k — модель классификации изображений и извлечения визуальных признаков, опубликованная авторами работы CrossViT и обученная на ImageNet-1k. Архитектура CrossViT использует трансформер с перекрёстным вниманием и обработкой изображений в нескольких масштабах. Модель содержит 8,8 млн параметров, требует изображения размером 240 × 240 пикселей и имеет вычислительную сложность 2,0 GMACs. Модель предназначена для классификации изображений по классам ImageNet-1k, а также может использоваться как backbone для получения визуальных эмбеддингов и построения прикладных систем компьютерного зрения. Она доступна через библиотеку timm в форматах PyTorch и safetensors. Лицензия Apache-2.0 разрешает использование, изменение и распространение при соблюдении её условий. Классификация обучена на ImageNet-1k, поэтому область распознаваемых объектов может быть ограничена классами этого набора данных. В карточке не приведены показатели качества на других наборах данных.
dm_nfnet_f2.dm_in1k — модель семейства NFNet для классификации изображений, обученная авторами научных работ на ImageNet-1k. Её архитектура без нормализационных слоёв построена по принципам ResNet с предварительной активацией; вместо Batch Normalization используются Scaled Weight Standardization и скалярные коэффициенты в остаточных связях и нелинейностях. Модель содержит около 193,8 млн параметров и предназначена также для извлечения карт признаков и векторных представлений изображений. В карточке приведены размеры изображений 256 × 256 для обучения и 352 × 352 для оценки. Модель принимает изображения и выдаёт классы ImageNet-1k; веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель ориентирована на классы ImageNet-1k; результаты на других наборах данных и задачах карточка не описывает.
timm/efficientnet_b2_pruned.in1k — сверточная модель семейства EfficientNet для классификации изображений и извлечения визуальных признаков. Модель разработана авторами timm и получена прореживанием весов EfficientNet с помощью knapsack pruning и внутренней дистилляции. Она обучена на ImageNet-1k и содержит около 8,3 млн параметров. Модель предназначена для присвоения изображениям меток ImageNet-1k, извлечения карт признаков и получения векторных представлений изображений. Указанный размер входного изображения — 260 × 260 пикселей; вычислительная сложность составляет около 0,7 GMAC. Данные о поддерживаемых естественных языках неприменимы к этой модели. Лицензия — Apache-2.0. Карточка не сообщает результатов оценки качества, поэтому точность на конкретных данных следует проверять отдельно; классификация ограничена набором меток ImageNet-1k.
EVA02 Small Patch14 336 — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Чекпойнт опубликован командой timm: авторы статьи предварительно обучили модель на ImageNet-22k с помощью masked image modeling, используя EVA-CLIP как учителя, а затем дообучили на ImageNet-1k. Модель использует архитектуру Vision Transformer с mean pooling, SwiGLU и Rotary Position Embeddings (RoPE); в ней 22,1 млн параметров, а штатный размер изображения составляет 336 × 336 пикселей. Модель подходит для присвоения изображению метки класса из набора ImageNet-1k, а также как визуальная основа для получения представлений изображений. В карточке приведено сравнение с более крупными моделями EVA02 и EVA, но метрики именно этого чекпойнта не приведены. Репозиторий timm содержит веса PyTorch и safetensors в формате float32; авторы отмечают, что оригинальные чекпойнты в некоторых случаях доступны в float16 или bfloat16. Лицензия — MIT.
FasterNet T0 — модель классификации изображений и извлечения визуальных признаков из семейства FasterNet. Её обучили авторы работы «Run, Don't Walk: Chasing Higher FLOPS for Faster Neural Networks» на ImageNet-1k; модель доступна через библиотеку timm. Веса представлены в форматах PyTorch и safetensors, лицензия — Apache-2.0. Модель содержит около 3,9 млн параметров, рассчитана на изображения размером 224 × 224 и требует около 0,3 GMAC на проход. Её можно использовать для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов. Она ориентирована на классы ImageNet-1k, поэтому для других категорий или предметных областей может потребоваться адаптация; качество распознавания вне обучающего набора не подтверждено.
FBNetC-100 — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k. Архитектура FBNet разработана с применением дифференцируемого поиска аппаратно-эффективных нейросетей. Модель также подходит как визуальная основа для извлечения карт признаков и эмбеддингов изображений. Модель содержит около 5,6 млн параметров, требует изображения размером 224 × 224 и выполняет примерно 0,4 GMAC на изображение. Она обучена с рецептом на основе RMSProp, усреднения весов EMA и стандартных аугментаций, включая случайное изменение размера и обрезку, mixup и Random Erasing. Поддерживает классификацию по категориям ImageNet-1k; веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Модель специализирована на классификации изображений общего назначения по классам ImageNet-1k; карточка не заявляет поддержку других наборов категорий или задач.
Florence-2-base — визуальная foundation-модель, разработанная Microsoft. В данном репозитории представлена упаковка microsoft/Florence-2-base для инференса Antfly с квантованными весами GGUF Q4_K. Модель использует prompt-based подход и sequence-to-sequence архитектуру, принимая изображение и текстовый запрос для выполнения различных задач компьютерного зрения и vision-language обработки. Модель предназначена для автоматического описания изображений, генерации подробных подписей, обнаружения объектов, сегментации и сопоставления фраз с областями изображения. Поддерживаются задачи captioning, detailed captioning, more detailed captioning, caption-to-phrase grounding, object detection и dense region caption. Переключение между сценариями выполняется с помощью специальных текстовых prompt-токенов, например <CAPTION> и <OD>. Модель обучалась на наборе FLD-5B, включающем 5,4 млрд аннотаций для 126 млн изображений, и рассчитана на zero-shot и последующее дообучение. Размер Florence-2-base составляет около 0,23 млрд параметров. В README не указаны поддерживаемые языки, максимальная длина контекста и полный перечень модальностей; явно описана работа с изображениями и текстовыми prompt-запросами. К сильным сторонам относятся единая архитектура для множества визуальных задач, возможность управления задачей через prompt и применение без специализированной модели под каждый сценарий. Ограничения включают отсутствие в предоставленных данных подробных сведений о качестве на отдельных бенчмарках, языковой поддержке и требованиях к ресурсам; версия Q4_K также является квантованным вариантом весов. Лицензия — MIT.