I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельwwdsada/qwenimage21gguf — это GGUF-квантизированная версия Qwen-Image-2.1, модели семейства Qwen, предназначенной для генерации изображений по текстовому описанию и редактирования изображений. Репозиторий содержит только веса диффузионного компонента DiT; текстовый энкодер Qwen3-VL-8B и VAE необходимо получить отдельно. Модель ориентирована на запуск через stable-diffusion.cpp и ComfyUI-GGUF в условиях ограниченного объёма видеопамяти. Визуальный генеративный компонент содержит около 7,115 млрд параметров и построен на 32-слойной архитектуре Single-Stream DiT. Используются смешанная по детализации attention-механика, повторное использование prefix KV cache и схема Flow Matching с дискретным планировщиком Euler и dynamic shifting. Модель поддерживает текстовую генерацию, редактирование с использованием до 10 референсных изображений, локальное редактирование по маске, выделению или наброску, а также нативное создание и редактирование RGBA-изображений с прозрачностью. Указаны нативное разрешение 2048×2048 и несколько поддерживаемых соотношений сторон. Доступны варианты от BF16 до Q2_K. BF16 численно эквивалентен исходным весам, Q8_0 обеспечивает наиболее близкое к оригиналу качество, а Q4_K_M рассматривается как рекомендуемый компромисс между качеством и размером. Q3_K_S и особенно Q2_K дают заметную деградацию качества. Реальное потребление видеопамяти зависит от разрешения и batch size; для экономии памяти поддерживаются CPU offload и поэтапная загрузка. Для работы требуются совместимые версии ComfyUI и ComfyUI-GGUF, а также отдельные текстовый энкодер и VAE. Лицензия указана как qwen-research; применяются условия лицензии Qwen-Image-2.1.
Это конвертированная для загрузки через Diffusers версия Qwen Image Edit 2509 Lightning 8-Step, подготовленная автором репозитория lite-infer на основе Qwen/Qwen-Image-Edit-2509 и контрольной точки Nunchaku. Модель предназначена для редактирования изображений по текстовым инструкциям с коротким процессом генерации на 8 шагах; в исходную контрольную точку встроена Lightning LoRA Qwen-Image-Edit-2509-Lightning-8steps-V1.0. Трансформер использует квантизацию Nunchaku Lite SVDQ INT4 с группой 64 и рангом 32, а текстовый энкодер — BitsAndBytes 4-bit NF4 с вычислениями в bfloat16. README приводит замеры на изображении 1248×832: средняя задержка составила 23,04 секунды, пиковая выделенная память CUDA — 21,24 GiB; результаты зависят от оборудования и условий запуска. Метаданные указывают Diffusers и файлы safetensors. Лицензия и поддерживаемые языки в предоставленных данных не описаны.
Это квантованная конверсия Qwen Image Edit 2509, подготовленная для загрузки через Diffusers с Nunchaku Lite. Трансформер использует SVDQ в формате NVFP4 с рангом 32; текстовый энкодер сохранён в 4-битном NF4 BitsAndBytes с вычислениями в bfloat16. Базовая модель — Qwen/Qwen-Image-Edit-2509, исходный чекпойнт Nunchaku — nunchaku-ai/nunchaku-qwen-image-edit-2509. Модель предназначена для редактирования изображений по текстовым инструкциям. В README приведён тест на изображении 1248×832 с 40 шагами генерации: среднее время конвертированной версии составило 173,44 секунды, пиковое использование выделенной CUDA-памяти — 21,55 ГиБ. В этих условиях исходный чекпойнт Nunchaku показал 90,82 секунды и 35,45 ГиБ; результаты относятся только к описанной конфигурации теста. Лицензия в предоставленных данных не указана.
Qwen-Image-MICo — дообученная модель редактирования изображений на базе Qwen-Image-Edit, опубликованная kr-cen. Она предназначена для преобразования изображений по инструкциям; автор показывает примеры редактирования, в том числе возможностей, не представленных в обучающем наборе MICo-150K. Для запуска предусмотрен формат Diffusers, веса представлены в safetensors. Модель распространяется по лицензии Apache-2.0. Автор отмечает, что показанные новые возможности редактирования могут работать нестабильно. Демонстрация модели доступна в Hugging Face Space на ZeroGPU.
SenseNova-SI-1.1-BAGEL-7B-MoT — мультимодальная модель SenseNova, дообученная на основе ByteDance-Seed/BAGEL-7B-MoT для развития пространственного интеллекта. Она принимает изображения и текстовые запросы, отвечает на вопросы о пространственных отношениях и сценах, а также сохраняет возможности базовой BAGEL по генерации изображений. Модель построена на архитектуре BAGEL и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для пространственного анализа изображений, мультимодального диалога и задач, где нужно интерпретировать взаимное расположение объектов или свойства сцены. В отчёте SenseNova-SI указаны результаты на пространственных бенчмарках, включая VSI-Bench, MMSI, MindCube, ViewSpatial и SITE; модель также сохраняет сильные способности к общему мультимодальному пониманию. Лицензия — Apache 2.0. README описывает проект как продолжающуюся исследовательскую работу; результаты бенчмарков не гарантируют качество на прикладных данных.
Карточка модели showlab/show-o2-1.5B-HQ на Hugging Face совпадает с карточкой showlab/show-o2-1.5B, поэтому описание составлено по ней. Show-o2-1.5B — мультимодальная модель Show Lab Национального университета Сингапура и ByteDance. Она объединяет понимание и генерацию текста, изображений и видео: языковая часть предсказывает текстовые токены авторегрессионно, а отдельная часть использует flow matching для генерации изображений и видео. В основе визуальных представлений лежит пространство 3D causal VAE; архитектура использует языковую модель и пути пространственно-временного слияния признаков. Модель предназначена для мультимодальных задач, включая анализ входных данных и генерацию изображений, видео и смешанного контента. В README перечислены несколько вариантов Show-o2, в том числе версии 1.5B и 7B; в идентификаторе этой модели указан размер 1.5B. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Сведения о поддерживаемых языках и длине контекста в доступных данных отсутствуют.
Depth ControlNet для Stable Diffusion 3.5 Large от Stability AI позволяет создавать изображения по текстовому описанию, управляя композицией с помощью карты глубины. Модель применяется вместе с Stable Diffusion 3.5 Large: карту глубины для управления нужно подготовить заранее внешним инструментом или скриптом, поскольку сама модель эту предварительную обработку не выполняет. Репозиторий содержит веса в формате Safetensors; модель можно использовать в официальном репозитории SD 3.5 или через Diffusers. Авторы рекомендуют начинать с силы ControlNet 0,7 и отмечают хорошие результаты с сэмплером Euler и 50–60 шагами. Модель выпущена по Stability Community License; для коммерческого лицензирования Stability AI предлагает обратиться отдельно. Она не предназначена для достоверного изображения реальных людей или событий; генерация может включать вредный контент, поэтому при внедрении нужны меры безопасности.
T2I-Adapter-SDXL Lineart — адаптер Tencent ARC и Hugging Face для генерации изображений с помощью Stable Diffusion XL Base 1.0. Он принимает текстовый запрос и изображение с линейным рисунком, используя линии как дополнительное условие для управления композицией и формами результата. Модель основана на диффузионной архитектуре; размер адаптера составляет около 77–79 млн параметров, а базовая модель SDXL — 2,6 млрд параметров. Адаптер предназначен для преобразования эскизов и линейных изображений в готовые иллюстрации с сохранением их структуры. Для работы требуется совместимый чекпойнт SDXL. Поддерживаемый в карточке язык — английский. Модель распространяется по лицензии Apache 2.0.
Thyme-RL — мультимодальная модель Kwai-Keye, дообученная на базе Qwen/Qwen2.5-VL-7B-Instruct с помощью обучения с подкреплением. Она предназначена для анализа изображений высокого разрешения и решения сложных задач визуального восприятия и рассуждения. Модель может автономно генерировать и выполнять код для обработки изображений и вычислений; обучение сочетает supervised fine-tuning и reinforcement learning с алгоритмом GRPO-ATS. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и принимает изображения и текстовые инструкции, выдавая текстовые ответы. Контекст — до 128 000 токенов. В карточке указана лицензия MIT. Модель ориентирована на английский язык; качество на других языках не подтверждено.
Video-ORA-4B — мультимодальная модель OraRL для унифицированного понимания видео и изображений. Она построена на Qwen3.5-4B и дообучена методом OraRL (Annotations as Rollouts); архитектура — Qwen3_5ForConditionalGeneration, тип — dense, размер — 4 млрд параметров. Веса представлены в формате safetensors и BF16, лицензия — Apache-2.0. Модель предназначена для структурированного восприятия изображений и видео: временной привязки событий, визуального трекинга, сегментации изображений и видео, пространственной привязки, пространственно-временной локализации, ответов на вопросы по видео и пространственных рассуждений. Она принимает текстовые запросы и визуальные данные, включая видео, и выдаёт прямые ответы в форматах, заданных задачей, без декодирования цепочки рассуждений. Для запуска описаны варианты на vLLM и Transformers; README указывает параметр контекста 262144 токена для приведённой конфигурации vLLM. Модель рассчитана на исследования структурированного понимания изображений и видео, оценку на бенчмарках и адаптацию под конкретные задачи. Возможны некорректные структурированные ответы и галлюцинации визуальных деталей; качество и ограничения также зависят от базовой модели и обучающих данных. Модель не проверена для критически важных решений и высокорисковых сценариев; разработчик отдельно исключает применение для выводов об идентичности и развёртывания видеонаблюдения. Лицензия модели — Apache-2.0, а права и условия использования обучающих медиаданных определяются исходными лицензиями.
VILA-U-7B-256 — мультимодальная базовая модель семейства VILA-U, разработанная MIT Han Lab. Она объединяет понимание видео, изображений и языка с генерацией текста и изображений в единой авторегрессионной архитектуре next-token prediction. Вместо отдельных модулей для понимания и генерации визуальных данных модель использует единый vision tower, который связывает дискретные визуальные токены с текстом. Модель предназначена для визуально-языковых сценариев: анализа изображений и видео, ответов на вопросы по визуальному содержимому и авторегрессионной генерации изображений. В README заявлена производительность, близкая к передовым системам в понимании и генерации визуального контента. Репозиторий содержит веса в формате safetensors; лицензия — MIT. Размер 7B следует из идентификатора модели, однако контекстное окно и поддерживаемые естественные языки в предоставленных данных не описаны.
ViTamin-XL-384px — визуальный энкодер семейства ViTamin, разработанный исследователями Университета Джонса Хопкинса и ByteDance и представленный в статье CVPR 2024. Репозиторий содержит веса PyTorch модели ViTaminCLIP, обученной в рамках CLIP-предобучения на DataComp-1B; карточка предлагает загружать модель через transformers.AutoModel. Лицензия — MIT. Модель извлекает признаки изображений и предназначена для использования как визуальный энкодер в задачах компьютерного зрения и мультимодальных системах. В статье приведены результаты для классификации ImageNet, переноса на наборы компьютерного зрения, поиска по изображениям и текста, открытого обнаружения и сегментации объектов, а также визуально-языковых бенчмарков. Карточка сообщает результаты для разрешения 384 пикселя в составе крупных мультимодальных моделей, но не описывает здесь самостоятельный диалоговый интерфейс. Сильная сторона ViTamin — применение как универсального визуального представления с хорошими результатами на широком наборе задач. README не приводит точный размер именно XL-чекпойнта и его собственную длину контекста; показатели в таблицах относятся к экспериментам статьи и не гарантируют такие же результаты при самостоятельном использовании. Для текстовых запросов и генерации ответов требуется соответствующая мультимодальная система.
Это вариант модели CLIP от OpenAI с визуальным энкодером ViT-B/16 и текстовым энкодером на основе Transformer с masked self-attention. Энкодеры обучены сопоставлять изображения и текст по контрастивной функции потерь. Репозиторий предназначен для загрузки через timm и OpenCLIP; веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Модель подходит для извлечения признаков изображений и классификации изображений по текстовым описаниям без отдельного обучения на заданных классах. Её могут использовать исследователи для изучения обобщения и устойчивости компьютерного зрения; прикладное использование требует тщательной проверки на конкретной задаче и фиксированной таксономии классов. Модель рассчитана на английский язык. CLIP может хуже справляться с тонкими различиями между классами и подсчётом объектов; результаты и смещения могут меняться в зависимости от формулировки категорий, а оценки выявили различия между демографическими группами. Распознавание лиц и задачи наблюдения исключены из допустимых сценариев, а развёртывание модели карточка не рекомендует.
Xenova/yolov9-c_all — преобразованная в формат ONNX версия модели YOLOv9-C, подготовленная для запуска через библиотеку Transformers.js. Она предназначена для обнаружения объектов на изображениях в JavaScript-приложениях, включая веб-сценарии. Репозиторий содержит веса ONNX; карточка не описывает размер модели, классы объектов или точность. Лицензия — GPL-3.0.
Runware/BFL-FLUX.2-klein-base-4B — копия базовой модели FLUX.2 [klein] 4B Base, разработанной Black Forest Labs и опубликованной Runware в формате Diffusers. Это модель генерации и редактирования изображений по текстовому описанию: поддерживает создание изображения по запросу, а также редактирование по одному или нескольким референсным изображениям. В конфигурации Diffusers используется Flux2KleinPipeline с трансформером Flux2Transformer2DModel и текстовым энкодером Qwen3ForCausalLM; размер модели — 4 млрд параметров. Вариант Base не подвергнут дистилляции: разработчик рекомендует его для дообучения, настройки под свои задачи и гибких рабочих процессов генерации и редактирования. Модель выпущена по лицензии Apache 2.0. Для её запуска нужны значительные ресурсы: в официальном описании для 4B Base приводится ориентир около 17 ГБ видеопамяти на RTX 5090; скорость и требования зависят от оборудования и настроек.
Clark Swin2SR ×2 text-robustness candidate v2 — модель повышения разрешения изображений, разработанная Clark Labs на основе caidas/swin2SR-lightweight-x2-64. Это дообученный вариант Swin2SR для восстановления изображений в два раза, особенно скриншотов интерфейсов и изображений с мелким текстом после типичных искажений: сжатия JPEG или WebP, размытия, шума, изменения масштаба, резкости, гаммы и цвета. Модель обучалась на 107 515 изображениях, включая реальные интерфейсы и плотный текст на семи языках. В репозитории есть веса Safetensors и граф ONNX; README также описывает компактный ternary-бандл для браузерного применения. По результатам оценки на 25 скриншотах и 12 типах искажений кандидат улучшает PSNR и качество границ относительно предыдущей ternary-версии во всех проверенных случаях. При этом он уступает более крупной q4-версии по PSNR и качеству границ, а превосходство по читаемости OCR не заявлено. Модель лицензирована по Apache-2.0. В карточке указана архитектура Swin2SRForImageSuperResolution и библиотека Transformers.
TareHimself/comic-text-mask — модель сегментации текста в комиксах и манге, предназначенная для этапа очистки локализованных страниц. Она принимает обрезанный детектором фрагмент изображения и выдаёт попиксельную бинарную маску «текст / не текст»; поиск и группировку текстовых областей выполняет отдельный детектор. Маска может использоваться для последующей заливки фона, например с помощью LaMa. Модель обучена на синтетических надписях на плоских поверхностях с помехами и на очищенных страницах комиксов. В обучающих данных представлены латиница, японские кана и кандзи в горизонтальном и вертикальном письме, корейский и китайский языки. Для проверки на отложенных синтетических и реальных фрагментах указаны IoU 0,906, точность 0,949 и полнота 0,952. Веса доступны в формате safetensors; для варианта model.pt README указывает, что нормализация ImageNet и sigmoid встроены, а входом служит RGB-изображение uint8 после letterbox-обработки. Лицензия — MIT. Модель не находит текстовые области на полной странице и зависит от качества входных обрезанных фрагментов.
ControlNet v1.1 Soft Edge — модель условного управления генерацией изображений, разработанная Lvmin Zhang и Maneesh Agrawala. Она представляет собой вариант архитектуры ControlNet для Stable Diffusion и поставляется в формате diffusers. Чекпойнт обучен на базе Stable Diffusion v1.5 и предназначен для совместного использования с ней. Модель принимает текстовое описание на английском языке и дополнительное условие в виде изображения с мягкими контурами, помогая сохранять структуру и композицию исходного изображения при генерации или преобразовании. Она подходит для управляемого text-to-image и image-to-image сценариев, когда требуется согласовать результат с очертаниями объекта или сцены. Для подготовки управляющего изображения могут использоваться внешние детекторы, например HED или PidiNet. Ключевое преимущество модели — более точный контроль пространственной структуры по сравнению с генерацией только по текстовому запросу, при этом базовые возможности определяются подключённой моделью Stable Diffusion. Ограничения включают зависимость от совместимой diffusion-модели, необходимость предварительной обработки изображения для получения soft edge-карты и отсутствие в README сведений о размере параметров и максимальной длине контекста. Рекомендуемой базовой моделью является runwayml/stable-diffusion-v1-5; совместимость с другими моделями не гарантируется. Модель распространяется по лицензии CreativeML OpenRAIL M, являющейся вариантом лицензии Open RAIL M.
BAAI/Emu3-Gen-hf — мультимодальная авторегрессионная модель команды Emu3 из BAAI, обученная с нуля на предсказании следующего токена. Она представляет изображения и текст в дискретном пространстве токенов и использует архитектуру Transformer. Модель предназначена для генерации изображений по текстовому запросу, понимания визуального содержимого и связных текстовых ответов; также семейство Emu3 поддерживает причинную генерацию и продолжение видео. Модель принимает текст и изображения и может выдавать текст и изображения; в карточке также описана работа с видео. В метаданных указаны английский язык и библиотека формата весов Safetensors. Репозиторий распространяется по лицензии Apache-2.0. Для запуска README рекомендует Transformers версии 4.48.0 или новее; генерацию в float16 можно ускорить с Flash Attention 2. Ограничение доступных сведений: конкретные размер модели и длина контекста не приведены.
Florence-2-base-PromptGen v1.5 — модель MiaoshouAI для создания подписей к изображениям и тегов, разработанная на основе Florence-2 Base и дообученная для MiaoshouAI Tagger в ComfyUI. Она предназначена для подготовки промптов и тегов к изображениям, в том числе для обучения и генерации изображений. Модель формирует теги в стиле Danbooru, краткие подписи, структурированные описания с расположением объектов, подробные описания и смешанный формат тегов и текста для Flux с T5XXL и CLIP_L. Также заявлено распознавание текста и водяных знаков на изображениях. Модель принимает изображения и инструкции в текстовом виде и выдаёт текстовые подписи или теги. По данным карточки, она компактна и может работать примерно с немногим более 1 ГБ видеопамяти; для использования предусмотрена интеграция с ComfyUI-Miaoshouai-Tagger. Репозиторий распространяется по лицензии MIT.
Disty0/Florence-2-base-PromptGen-v2.0 — совместимая с Hugging Face Transformers версия дообученной модели Florence-2, опубликованная автором Disty0. Она принимает изображение и формирует текст, в частности описания изображений, теги и композиционные подсказки для подготовки промптов Flux. Модель использует архитектуру Florence-2 для генерации текста по изображению. Репозиторий содержит веса в формате safetensors; модель загружается через Transformers и предназначена для задач vision с выводом текста. Модель может быть полезна для автоматического описания изображений и подготовки текстовых промптов по визуальному содержимому. Подробности о поддерживаемых языках, размере и длине контекста в предоставленных данных отсутствуют. Лицензия — MIT.
Карточка модели beenga8/flux2-klein-4b-mirror на Hugging Face совпадает с карточкой beenga8/flux-2-klein-base-4b-mirror, поэтому описание составлено по ней. Это зеркальная копия FLUX.2 [klein] 4B от Black Forest Labs, сохранённая для воспроизводимой сборки Beenga Image. Веса побайтно совпадают с указанной в карточке ревизией исходного репозитория; модель не изменялась и не дообучалась. Подходит для генерации изображений по тексту и редактирования изображений, в том числе с несколькими референсами, согласно метаданным каталога. Модель распространяется в форматах Diffusers и Safetensors по лицензии Apache-2.0. Для актуальной версии и исправлений карточка рекомендует обращаться к исходному репозиторию Black Forest Labs.
Карточка модели OsGo/FLUX.2-klein-base-4B на Hugging Face совпадает с карточкой black-forest-labs/FLUX.2-klein-base-4B, поэтому описание составлено по ней. FLUX.2 [klein] 4B Base — модель Black Forest Labs для генерации и редактирования изображений. Это трансформер rectified flow с 4 млрд параметров, объединяющий текстовую генерацию изображений и редактирование по одному или нескольким референсам. Модель рассчитана на быстрый запуск и локальное использование; по данным карточки, ей требуется около 13 ГБ видеопамяти и она работает с библиотекой Diffusers. Это полноразмерная недистиллированная базовая модель, предназначенная для гибкой настройки, обучения LoRA, исследований и пользовательских конвейеров обработки изображений. Она сохраняет больше разнообразия выходов, чем дистиллированные варианты семейства. В карточке указана поддержка английских промптов; заявлена генерация с высокой скоростью, но фактическое соответствие запросу зависит от формулировки промпта. Модель не предназначена для выдачи фактической информации; текст внутри сгенерированных изображений может быть искажён, а результаты могут не соответствовать запросу и отражать смещения обучающих данных. Распространяется по лицензии Apache 2.0, допускающей коммерческое использование с соблюдением условий лицензии и ограничений допустимого применения, описанных в карточке модели.
FLUX.MF-8step_lightning_v2 — объединённая модель для генерации изображений по текстовому описанию, опубликованная buildborderless в рамках проекта OpenSight. В основе лежит слияние black-forest-labs/FLUX.1-dev и black-forest-labs/FLUX.1-schnell; затем к нему добавлена подборка LoRA. Репозиторий содержит веса в формате safetensors для использования через diffusers и FluxPipeline. Модель предназначена главным образом для генерации данных и оценки моделей. В названии указано Lightning и 8step, что обозначает вариант, ориентированный на генерацию за 8 шагов. Карточка также предупреждает, что некоторые использованные LoRA рассчитаны на NSFW-контент. Лицензия обозначена как other; перед коммерческим применением автор советует проверить лицензии исходных моделей и компонентов слияния.
nunchaku-ai/nunchaku-z-image-turbo — это квантизированная версия модели Z-Image-Turbo, разработанная командой Nunchaku. Модель предназначена для генерации и преобразования изображений и интегрируется с библиотекой Diffusers, а также поддерживает использование через ComfyUI. Квантизация выполнена с применением метода SVDQuant и оптимизирована для эффективного вывода при минимальной потере качества. Для видеокарт до 50-й серии NVIDIA предусмотрен формат INT4, а для архитектуры Blackwell и видеокарт 50-й серии — NVFP4. Доступны варианты с рангами r32, r128 и r256: меньший ранг обеспечивает более быструю работу, а больший — более высокое качество при увеличении времени вывода. README не указывает размер модели, максимальный контекст, набор поддерживаемых языков для ввода или точный набор модальностей; в метаданных заявлен английский язык. Сильной стороной модели является снижение вычислительных затрат и ускорение инференса по сравнению с исходной Z-Image-Turbo при сохранении близкого качества. Ограничения связаны с зависимостью производительности от совместимого GPU, формата данных и выбранного ранга, а также с тем, что высококачественные варианты работают медленнее. Модель распространяется по лицензии Apache-2.0.
Bedovyy опубликовал совместимую с timm перепаковку модели pixai-labs/pixai-tagger-v0.9 для классификации изображений и многометочной разметки тегами. Модель предназначена для анализа изображений в стиле аниме и присвоения им тегов Danbooru; её можно использовать, например, с ComfyUI-WD-Timm-Tagger. Версия адаптирована для формата тегов WD Tagger: цветовое пространство изменено с RGB на BGR, а tag_id в файле selected_tags.csv отличается от идентификаторов Danbooru. Репозиторий распространяется в формате safetensors и использует библиотеку timm. Лицензия — Apache-2.0.
Pixtral-12B-Captioner-Relaxed — дообученная мультимодальная модель Mistral AI на базе Pixtral-12B-2409, представленная автором карточки модели. Она принимает изображения и создаёт подробные подписи на естественном языке, описывая объекты и их расположение. Модель настроена на подготовку подписей для датасетов текстово-графических моделей и выдаёт описания в формате, пригодном для обучения генераторов изображений. Карточка заявляет о менее строгих ограничениях на содержание описаний по сравнению с базовой моделью. Модель использует архитектуру семейства LLaVA и распространяется в формате Safetensors через Transformers. Для запуска в половинной точности требуется около 24 ГБ видеопамяти; загрузка с 8-битной или 4-битной квантизацией снижает качество. На сложных задачах, отличных от описания изображений, качество может быть ниже, чем у базовой модели. Лицензия — Apache-2.0.
Ertugrul/Qwen2.5-VL-7B-Captioner-Relaxed — дообученная мультимодальная модель на базе Qwen/Qwen2.5-VL-7B-Instruct с архитектурой Qwen2.5-VL и 7,1 млрд параметров. Она принимает изображения вместе с текстовыми инструкциями и создаёт подробные описания на естественном языке, в том числе указывает расположение объектов. Модель настроена на подготовленном вручную наборе данных для текстово-графических моделей и форматы подписей, подходящие для датасетов генерации изображений. По сравнению с исходной моделью она выдаёт более подробные описания и менее ограничена в их формулировках. Основное назначение — автоматическая генерация подписей к изображениям; качество на других задачах может быть ниже, чем у базовой модели. Контекст — до 32 768 токенов; заявлена поддержка английского языка. Модель распространяется под лицензией Apache-2.0.
Это отдельный визуальный энкодер Qwen3-VL-32B, опубликованный giovannioliveira. Он получен извлечением визуальной части model.visual из Qwen/Qwen3-VL-32B-Instruct: в репозитории сохранена полная Qwen3VLVisionModel, включая patch embedding, 27 блоков визуального трансформера, merger размерности 5120 и три головы DeepStack. Языковая модель и LM-head в чекпойнт не входят. Модель предназначена для извлечения признаков изображений и самостоятельной загрузки через классы Transformers без trust_remote_code. Веса хранятся в safetensors в формате BF16; указанный размер — 595 266 800 параметров. В конфигурации также присутствуют настройки предобработки видео, но метаданные классифицируют модель только для извлечения признаков изображений. Извлечение изменило раскладку ключей состояния, но, согласно README, не меняло значения тензоров. Лицензия — Apache-2.0. Это визуальный энкодер без языковой части, поэтому он сам по себе не предназначен для диалоговых ответов или генерации текста; README не сообщает результатов оценки качества.
relsgg-vits16plus — модель компьютерного зрения из проекта RelateAnything, предназначенная для обнаружения отношений между областями изображения с открытым словарём предикатов. На вход подаются изображение и ограничивающие рамки или маски регионов, полученные детектором, сегментатором либо заданные вручную; метки классов объектов модели не требуются. Она ранжирует отношения для словаря, предоставленного при запуске, и может за один проход сформировать пространственный и семантический графы. Модель обучена на RA-4M и оценивалась на OV-SGG-Bench. В составе поставки есть ONNX-файл, веса PyTorch и текстовая модель-студент с токенизатором для кодирования словаря; после кодирования предикатов оценивание выполняется только по изображению. Указанная архитектура относится к семейству relsgg с плотным типом модели. В README приведены результаты переноса на несколько наборов данных и проверки пространственного рассуждения, однако качество зависит от набора предикатов и режима оценки. Метаданные указывают лицензию «other», без конкретизации условий в доступных сведениях. Модель требует заданных областей изображения и не заменяет детектор или сегментатор; пороги оценки привязаны к этому чекпойнту и не переносятся на другие модели.