I.8Изображения и компьютерное зрение

ControlNet Depth — модель, разработанная Lvmin Zhang и Maneesh Agrawala. Это дополнительная нейросетевая структура для управления генерацией изображений на основе Stable Diffusion v1.5 с помощью условного входа, содержащего информацию о глубине сцены. Модель предназначена для генерации и преобразования изображений по текстовому описанию с сохранением пространственной композиции и геометрии исходного изображения. В качестве управляющего сигнала используется градационное изображение глубины, полученное с помощью оценки глубины MiDaS: чёрный цвет соответствует более удалённым областям, белый — близким. Модель относится к диффузионным моделям text-to-image и применяется совместно с Stable Diffusion, в том числе в сценариях image-to-image. В README указано, что поддерживается английский язык. Архитектурные размеры, объём параметров, размер контекста и точный набор поддерживаемых модальностей не приведены. Сильная сторона модели — возможность точнее контролировать структуру, перспективу и глубину генерируемой сцены по сравнению с использованием одного текстового запроса. Ограничение заключается в зависимости от базовой модели Stable Diffusion v1.5 и качества входной карты глубины; модель предназначена именно для управления генерацией по глубине, а не для универсального редактирования. Лицензия — CreativeML OpenRAIL M, основанная на Open RAIL M.

SenseNova-U1-8B-MoT — мультимодальная модель SenseNova на архитектуре NEO-unify, объединяющая понимание, рассуждение и генерацию текста и изображений в одной системе. Это плотная модель семейства NEOChat с 8 млрд параметров; карточка описывает нативную обработку изображений и текста без отдельных визуального энкодера и VAE, а также генерацию текста и изображений в чередующемся формате. Модель предназначена для анализа изображений, визуальных рассуждений, редактирования и создания изображений, включая инфографику, постеры и другие материалы с насыщенной информацией. Поддерживаются английский и китайский языки. Для запуска README приводит Transformers и рекомендует для производственного обслуживания связку LightLLM и LightX2V. Модель распространяется по лицензии Apache-2.0. README заявляет высокие результаты на ряде бенчмарков, однако подробные численные результаты в предоставленном тексте отсутствуют.

Stable Diffusion x4 Upscaler — текстово-управляемая модель латентной диффузии для увеличения изображений в четыре раза. Её разработали Robin Rombach и Patrick Esser. Модель принимает изображение низкого разрешения, текстовую подсказку и параметр noise_level, после чего создаёт изображение более высокого разрешения; для работы доступны Diffusers и формат PyTorch/Safetensors. Модель обучали 1,25 млн шагов на подмножестве LAION с изображениями размером более 2048×2048, используя кропы 512×512. Она предназначена для художественного и творческого увеличения изображений, а также для исследований генеративных моделей. Основной язык подсказок — английский; результаты на других языках могут быть хуже. Модель не гарантирует фотореализм, плохо передаёт читаемый текст, сложные пространственные отношения, лица и людей. Автоэнкодер вносит потери, а обучающие данные могут отражать социальные предубеждения и содержать взрослые или жестокие материалы. Лицензия — CreativeML Open RAIL++-M; в карточке указаны ограничения на отдельные виды использования.

ToriiGate-0.5_GGUF — GGUF-квантизированная версия мультимодальной модели ToriiGate-0.5, разработанной Minthy и основанной на Minthy/ToriiGate-0.5 и Qwen/Qwen3.5-4B-Base. Модель предназначена для анализа изображений и генерации подписей и описаний к цифровым иллюстрациям, аниме-арту, скриншотам, комиксам и другим изображениям. Она может применяться для подготовки датасетов генеративных моделей, создания промптов, автоматической разметки, сортировки и классификации изображений. Модель поддерживает сценарии image-text-to-text и рассчитана преимущественно на англоязычные описания. Она распознаёт многочисленные визуальные концепции, действия, персонажей и их индивидуальные атрибуты, умеет использовать имена персонажей и предлагает несколько вариантов формата подписей, включая подробные структурированные описания и режимы с промежуточным рассуждением. Для повышения точности предусмотрены варианты grounding, в том числе использование тегов или описаний изображений. По заявлению автора, модель особенно сильна в области цифрового и аниме-арта и не имеет встроенной цензуры. К ограничениям относятся небольшой размер базовой модели, возможные ошибки при распознавании редких персонажей и риск смешения внешности и имён нескольких персонажей без дополнительного grounding. Точные размер, длина контекста и полный перечень поддерживаемых языков в предоставленных данных не указаны. Для запуска нужны совместимые llama.cpp-инструменты, GGUF-файл и мультимодальный проектор mmproj; доступны различные варианты квантизации, включая версии с Q8_0 для token embeddings и output tensor. Модель распространяется по лицензии MIT.

VARGPT-v1.1 — мультимодальная модель семейства VARGPT, разработанная командой VARGPT-family. Она объединяет визуальное понимание и генерацию изображений в одной системе: для понимания использует предсказание следующего токена, а для генерации — предсказание следующего масштаба. В README указана конфигурация 7B+2B; метаданные указывают 7,1 млрд параметров, архитектуру VARGPTQwen2VLForConditionalGeneration и контекст 32 768 токенов. Модель предназначена для мультимодального диалога и генерации изображений по текстовому запросу. В карточке приведены отдельные демонстрации понимания мультимодальных входов и преобразования текста в изображение. Репозиторий содержит веса Safetensors и использует Transformers; лицензия — Apache-2.0. README описывает улучшение модели посредством итеративного instruction tuning и обучения с подкреплением, но базовая модель в метаданных не указана.

Video-ORA-9B — мультимодальная модель OraRL на 9 млрд параметров, дообученная на базе Qwen/Qwen3.5-9B методом OraRL (Annotations as Rollouts). Она предназначена для унифицированного анализа изображений и видео и выдаёт структурированные ответы для семи групп задач: временной привязки событий, визуального отслеживания объектов, сегментации изображений и видео, пространственной привязки, пространственно-временной привязки, ответов на вопросы по видео и пространственного анализа. Модель построена на архитектуре Qwen3_5ForConditionalGeneration, использует веса BF16 и принимает визуальные данные вместе с текстовыми запросами. Для запуска README приводит конфигурацию vLLM с длиной контекста до 262144 токенов; это значение относится к описанной конфигурации обслуживания. Модель рассчитана на исследовательские эксперименты, оценивание на бенчмарках и адаптацию под конкретные задачи восприятия изображений и видео. По заявлению авторов, она охватывает все семь групп задач и отвечает без декодирования цепочки рассуждений. Веса распространяются под лицензией Apache-2.0, при этом лицензии обучающих и оценочных наборов остаются отдельными. Это исследовательский чекпойнт: ответы могут иметь некорректный формат и содержать вымышленные визуальные детали; также возможны ограничения и смещения базовой модели и обучающих данных. Модель не валидирована для критически важных решений; авторы исключают из предполагаемого применения выводы об идентичности и использование для наблюдения.

DAMO-NLP-SG/VL3-SigLIP-NaViT — визуальный энкодер VideoLLaMA 3, разработанный командой DAMO-NLP-SG. Модель принимает изображения и извлекает визуальные признаки для мультимодальных систем; она предназначена для обработки изображений и кадров разного разрешения в сценариях понимания видео. Энкодер основан на архитектуре ViT и дообучен на базе google/siglip-so400m-patch14-384. В подходе Any-resolution Vision Tokenization используются 2D-RoPE вместо абсолютных позиционных эмбеддингов, чтобы представлять изображения с разным разрешением с сохранением деталей. Число параметров — 544,9 млн; доступны веса Safetensors для Transformers. В ходе адаптации энкодер и проектор обучались на изображениях сцен, документах и изображениях с текстом. Модель извлекает признаки, которые могут служить визуальным представлением для задач понимания сцен, документов и видео. Она не является самостоятельной диалоговой моделью. Распространяется по лицензии Apache-2.0.

webnn/yolo12n — модель компьютерного зрения Ultralytics YOLO12, преобразованная в формат ONNX для использования с Transformers.js и бэкендом WebNN. Она предназначена для обнаружения объектов на изображениях; семейство также поддерживает сегментацию экземпляров, классификацию изображений, оценку позы и обнаружение объектов с ориентированными рамками. Репозиторий содержит ONNX-файлы и использует библиотеку Ultralytics. Модель подходит для интеграции компьютерного зрения в веб-приложения с поддержкой WebNN, например для поиска объектов и анализа сцен. Лицензия AGPL-3.0; при использовании следует соблюдать её условия.

A.X VE — визуальный энкодер на базе Vision Transformer, разработанный SK Telecom в рамках южнокорейского проекта суверенной базовой модели ИИ. Модель обучена с нуля как визуальная часть будущей мультимодальной модели A.X VLM: при обучении замороженный внутренний языковой декодер генерировал текст по визуальным токенам, а энкодер оптимизировался по цели предсказания следующего токена. Энкодер преобразует изображения в признаки отдельных патчей и предназначен для использования как визуальный модуль VLM вместе с языковой моделью. В README указаны 413 млн параметров и архитектура ViT: 27 слоёв, скрытый размер 1152, 16 голов внимания и патчи 16 × 16. Обучение включало задачи описания изображений, распознавания текста и документов, разбора содержимого и привязки объектов к областям изображения. Веса представлены в формате Safetensors, основная точность — bf16. Модель ориентирована на извлечение визуальных признаков, включая признаки, полезные для OCR, понимания документов и пространственной привязки. Она не генерирует текст самостоятельно: для решения пользовательских задач требуется языковой модуль. Признаки согласованы с пространством эмбеддингов декодера, использованного при обучении, поэтому при подключении другого языкового модуля может понадобиться дополнительная адаптация. Лицензия — Apache 2.0.

diffusers/controlnet-depth-sdxl-1.0-small — экспериментальная модель ControlNet, разработанная сообществом Hugging Face/diffusers для совместного использования с SDXL и stable-diffusion-xl-base-1.0. Она предназначена для генерации и преобразования изображений по текстовому описанию с управлением пространственной композицией через карту глубины, полученную из исходного изображения с помощью Intel/dpt-hybrid-midas. Это позволяет сохранять структуру сцены и относительное расположение объектов при создании нового изображения. Модель представляет собой уменьшенную версию ControlNet для SDXL: её контрольные веса примерно в семь раз меньше оригинального XL-чекпойнта. Архитектура не содержит attention-блоков и не использует дистилляцию; меньшая ControlNet была инициализирована из UNet SDXL. В README не указаны точное число параметров, максимальный контекст или набор поддерживаемых языков. Для работы используются текстовая и визуальная модальности, SDXL pipeline, FP16 и компоненты библиотеки Diffusers. Сильной стороной модели является относительно компактный размер при сохранении управления генерацией по глубине; она хорошо работает с большинством обычных conditioning-изображений. Ограничения включают экспериментальный статус и более низкое качество на сложных условиях по сравнению с крупными чекпойнтами. Для настройки результата рекомендуется изменять controlnet_conditioning_scale и guidance_scale. Модель распространяется по лицензии openrail++.

FFusionXL-BASE — модель генерации изображений по текстовому описанию от FFusion AI, основанная на Stable Diffusion XL и дообученная разработчиком. Это латентная диффузионная модель с двумя фиксированными предварительно обученными текстовыми энкодерами: OpenCLIP ViT/G и CLIP ViT/L. Карточка описывает её как базу для генерации и изменения изображений по промптам, а также для дальнейшего обучения и адаптации под пользовательские задачи. Модель распространяется в форматах Diffusers и safetensors, а также в вариантах ONNX и OpenVINO. ONNX-версия оптимизирована до FP16 для DirectML; декодер VAE оставлен в FP32, чтобы избежать дефектов рендера. OpenVINO-версия представлена в FP16 и FP32. Лицензия в метаданных указана как OpenRAIL++; README называет лицензию FFXL Research License, поэтому условия следует сверять с файлами лицензии в репозитории.

FLUX.2 [klein] 9B Base — базовая модель генерации и редактирования изображений от Black Forest Labs. Это rectified flow transformer с 9 млрд параметров, объединяющий генерацию по текстовому описанию и редактирование с несколькими эталонными изображениями в одной архитектуре. Модель предназначена для творческой работы, разработки собственных конвейеров генерации и редактирования, а также тонкой настройки и обучения LoRA. Для запуска используется библиотека Diffusers; в README указано, что модели требуется около 29 ГБ видеопамяти и подходит NVIDIA RTX 4090 или мощнее. Это недистиллированный вариант с полной емкостью, рассчитанный на гибкость, контроль и большее разнообразие результатов по сравнению с дистиллированными моделями. Он принимает текстовые запросы и изображения-референсы, а выдаёт изображения. Языковой код в метаданных — английский. Лицензия обозначена как other, поэтому конкретные условия следует сверять с лицензией репозитория. Модель не предназначена для предоставления фактических сведений; текст на изображениях может искажаться, следование запросам зависит от формулировок, а результаты могут отражать смещения обучающих данных.

GLIGEN — диффузионная модель генерации изображений с привязкой объектов к заданным областям. Её разработали исследователи и инженеры University of Wisconsin–Madison, Columbia University и Microsoft. Эта версия предназначена для запуска через библиотеку Diffusers и использует латентную диффузионную архитектуру с фиксированным текстовым энкодером CLIP ViT-L/14. Модель принимает текстовое описание и текстовые метки объектов с ограничивающими рамками, а также может использовать исходное изображение для вставки описанных объектов в указанные области. Она подходит для создания и редактирования изображений, художественных и образовательных инструментов и исследований управляемой генерации. Основной язык — английский; запросы на других языках работают хуже. Модель может ошибаться в фотореализме, композиции, изображении людей и читаемом тексте; автоэнкодер вносит потери, а обучающие данные могут приводить к запоминанию изображений и смещениям. Модель распространяется по лицензии CreativeML OpenRAIL-M. Карточка предназначает её для исследований и творческих сценариев и рекомендует использовать Diffusers Safety Checker; для применения следует учитывать ограничения лицензии и карточки, а также необходимость мер безопасности.

ydshieh/kosmos-2-patch14-224 — реализация модели Kosmos-2 от Microsoft для Transformers, размещённая пользователем ydshieh на Hugging Face. Это мультимодальная модель на архитектуре Kosmos-2, которая принимает изображение вместе с текстовым запросом и генерирует текстовый ответ. Она предназначена для описания изображений, ответов на вопросы о визуальном содержимом и связывания упомянутых в тексте объектов с их областями на изображении; обработчик может извлекать сущности и рамки объектов. В README приведены примеры генерации описаний, ответов на вопросы и phrase grounding. Репозиторий использует веса PyTorch и требует загрузки удалённого кода через Transformers; автор карточки отмечает, что эта реализация устарела, и указывает на возможные проблемы совместимости. Лицензия в доступных данных не указана.

wanglab/medsam-vit-base — версия Segment Anything Model с архитектурой ViT-B, дообученная для сегментации медицинских изображений. Модель кодирует изображение с помощью Vision Encoder, обрабатывает подсказки Prompt Encoder и формирует маски декодером Mask Decoder. Для разметки можно задавать точки или ограничивающие рамки; SAM также поддерживает генерацию масок объектов на изображении. Модель предназначена для сегментации медицинских изображений, в том числе для подготовки масок по интерактивным подсказкам и автоматического выделения объектов. В карточке приведено описание архитектуры SAM, но не уточнены медицинские наборы данных и виды изображений, на которых оценивалась именно эта версия. Репозиторий распространяется в формате PyTorch по лицензии Apache-2.0.

MistoLine — модель ControlNet для Stable Diffusion XL, разработанная TheMisto.ai. Она предназначена для генерации изображений по текстовому запросу с управлением композицией и формами на основе различных видов линейного рисунка: эскизов от руки, результатов препроцессоров ControlNet и контуров, созданных другими моделями. Модель ориентирована на сценарии преобразования скетчей и рендеринга по заданным линиям. MistoLine сохраняет архитектуру ControlNet, совместима с SDXL и обучена на базе U-Net модели stabilityai/stable-diffusion-xl-base-1.0 с использованием алгоритма предварительной обработки линий Anyline. Заявлены высокая точность, устойчивость, восстановление деталей и соответствие текстовому запросу, включая сложные случаи. Модель поддерживает генерацию изображений с короткой стороной более 1024 пикселей и обобщает разные типы линейных условий без необходимости выбирать отдельный ControlNet для каждого препроцессора. Поддержка языков и точный размер модели в README не указаны. Модель совместима с большинством SDXL-моделей, но, согласно README, не поддерживает PlaygroundV2.5, CosXL и, возможно, SDXL-Lightning. Ее можно использовать вместе с LCM и другими ControlNet-моделями. Указана лицензия openrail++. Для коммерческого использования требуется явно указывать вклад TheMisto.ai и соблюдать дополнительные условия атрибуции. Авторы также ограничивают применение модели для незаконных целей, причинения вреда, дискриминации, нарушения приватности, вредоносных автоматизированных решений и медицинских рекомендаций.

Pixtral-12B-Captioner-Relaxed — дообученная мультимодальная модель семейства Pixtral от автора репозитория unalignment, созданная на базе mistralai/Pixtral-12B-2409. Она принимает изображение и генерирует подробное описание на естественном языке, в том числе с указанием расположения объектов. Модель настроена на создание подписей для датасетов текстово-изображенческой генерации; описания рассчитаны на использование в промптах для text-to-image-моделей. Модель использует архитектуру LlavaForConditionalGeneration и распространяется в формате safetensors через Transformers. В карточке указан английский язык. Для работы модели размером 12 млрд параметров требуется около 24 ГБ видеопамяти при половинной точности; загрузка в 8- или 4-битном формате снижает производительность. Лицензия — Apache-2.0. Настройка с менее строгими ограничениями позволяет получать более подробные описания, однако качество на других сложных мультимодальных задачах может быть ниже, чем у исходной Pixtral-12B-2409.

PS3_Lang-4K-SigLIP2 — визуальный энкодер NVIDIA на основе дообученной Google SigLIP2, предназначенный для извлечения признаков из изображений высокого разрешения. Он принимает RGB-изображения и выдаёт тензор эмбеддингов для последующей обработки другой моделью. Модель использует Vision Transformer и обрабатывает изображения на нескольких масштабах вплоть до 3780 × 3780 пикселей. В README описаны выбор значимых участков изображения по визуальной заметности или текстовым запросам, а также преобразование признаков в многомасштабные карты признаков. Модель рассчитана на исследовательскую работу и разработку; NVIDIA указывает оптимизацию для ускорителей NVIDIA. Лицензия — CC-BY-NC-SA-4.0, которая ограничивает коммерческое использование. README не приводит результаты оценки этой версии; для применения признаков нужна downstream-модель.

Карточка модели Jasper1007/Qwen-Image-ControlNet-Union на Hugging Face совпадает с карточкой InstantX/Qwen-Image-ControlNet-Union, поэтому описание составлено по ней. Qwen-Image-ControlNet-Union — объединённый ControlNet от InstantX для управления генерацией и редактированием изображений на базе Qwen-Image. Модель принимает изображение с картой управления и текстовое описание, поддерживая четыре типа условий: контуры Canny, мягкие границы, глубину и позу. Она интегрируется с Diffusers и ComfyUI. ControlNet обучен с нуля в течение 50 тысяч шагов на 10 миллионах качественных изображений общего содержания и изображений людей. В архитектуре используются пять двойных блоков из предварительно обученного трансформера; обучение проводилось при разрешении 1328×1328 в BF16. Для управления силой условия предусмотрен параметр controlnet_conditioning_scale. Модель подходит для создания изображений по тексту с сохранением заданных контуров, глубины или позы, а также для редактирования изображений с таким контролем. В README отмечено, что без явного указания текста в промпте некоторые детали, например мелкий текст, могут сохраняться хуже. Лицензия — Apache-2.0.

ByteDance разработала Sa2VA-Qwen3-VL-2B — мультимодальную чат-модель для вопросов по изображениям и видео, понимания визуальных подсказок и сегментации объектов. Семейство Sa2VA объединяет языковую модель с возможностями визуального анализа и сегментации; в метаданных архитектура указана как Sa2VAChatModelQwen, а базовая модель — OpenGVLab/InternVL3-8B, с которой репозиторий связан как merge. Модель распространяется в формате safetensors и использует библиотеку Transformers. Модель предназначена для визуальных вопросов и ответов, привязки объектов к текстовым описаниям и плотной сегментации на изображениях и видео. В README семейство Sa2VA описано как сопоставимое с Qwen2.5-VL и InternVL3 на тестах вопросов и ответов и сильное в задачах grounding и сегментации. Размер и длина контекста для этого конкретного репозитория в предоставленных данных не указаны. Лицензия — Apache-2.0. README не приводит отдельные результаты именно для Sa2VA-Qwen3-VL-2B, а таблица производительности относится к другим вариантам семейства. Для запуска приведён пример с Transformers; README не описывает требования к ресурсам или ограничения по типам входных данных.

SESAME — открытая мультимодальная модель, созданная дообучением LLaVA на инструкционных данных для привязки изображений к текстовым описаниям и сегментации. Это авторегрессионная языковая модель, объединённая с моделью сегментации; архитектура относится к семейству LLaVA и содержит 6,6 млрд параметров. Модель принимает текстовые инструкции и изображения, а также может выдавать текстовые ответы и результаты сегментации. SESAME предназначена для экспериментов с мультимодальными моделями и чат-ботами, в частности для визуального заземления и сегментации по текстовым запросам. В обучении использованы данные RefCOCO, RefCOCO+ и RefCOCOg, а также набор визуальных вопросов и ответов LLaVA 150K. Контекст составляет 4096 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT.

Карточка модели radames/stable-diffusion-x4-upscaler-img2img на Hugging Face совпадает с карточкой stabilityai/stable-diffusion-x4-upscaler, поэтому описание составлено по ней. Stable Diffusion x4 Upscaler — текстово-управляемая модель латентной диффузии для увеличения изображений в четыре раза. Её разработали Robin Rombach и Patrick Esser. Модель принимает изображение низкого разрешения, текстовую подсказку и параметр noise_level, после чего создаёт изображение более высокого разрешения; для работы доступны Diffusers и формат PyTorch/Safetensors. Модель обучали 1,25 млн шагов на подмножестве LAION с изображениями размером более 2048×2048, используя кропы 512×512. Она предназначена для художественного и творческого увеличения изображений, а также для исследований генеративных моделей. Основной язык подсказок — английский; результаты на других языках могут быть хуже. Модель не гарантирует фотореализм, плохо передаёт читаемый текст, сложные пространственные отношения, лица и людей. Автоэнкодер вносит потери, а обучающие данные могут отражать социальные предубеждения и содержать взрослые или жестокие материалы. Лицензия — CreativeML Open RAIL++-M; в карточке указаны ограничения на отдельные виды использования.

Swin-Tiny — модель компьютерного зрения для классификации изображений на датасете ImageNet и использования в качестве backbone при создании более специализированных моделей. Она основана на реализации Swin Transformer из torchvision и разработана с оптимизацией для устройств Qualcomm; подготовкой и экспортом занимаются Qualcomm AI Hub Models. Модель принимает изображения размером 224×224 пикселя и работает только с визуальными данными. Модель содержит 28,8 млн параметров; размер контрольной точки составляет около 110 МБ в формате float и 29,9 МБ в варианте w8a16. Доступны предварительно экспортированные версии ONNX, QNN_DLC и TFLITE, рассчитанные на использование с Qualcomm AI Hub и NPU Qualcomm. Вариант w8a16 может уменьшить размер и ускорить инференс, однако производительность и потребление памяти зависят от устройства и конфигурации. README не содержит показателей точности, поэтому качество классификации по этим данным оценить нельзя. Лицензия модели — BSD-3-Clause.

TencentARC/t2iadapter_canny_sd15v2 — адаптер T2I-Adapter для генерации изображений на основе Stable Diffusion 1.5. Разработан авторами проекта T2I-Adapter, который добавляет к диффузионной модели дополнительные условия управления генерацией. Адаптер использует карту границ Canny как управляющее изображение, помогая задавать контуры и композицию результата при генерации по текстовому запросу. Он предназначен для сценариев контролируемого преобразования изображений и генерации изображений с заданной структурой; применяется совместно с базовой моделью runwayml/stable-diffusion-v1-5. Модель имеет диффузионную архитектуру и принимает текст и изображение с границами Canny, выдавая изображение. В карточке указана поддержка английского языка и лицензия Apache 2.0. Качество результата зависит от базовой модели и управляющей карты; адаптер рассчитан на контуры и не описан как универсальный контроллер для других типов условий.

TencentARC/t2i-adapter-sketch-sdxl-1.0 — адаптер T2I-Adapter, созданный в сотрудничестве Tencent ARC и Hugging Face для управления генерацией изображений Stable Diffusion XL с помощью эскизов. Он принимает текстовый запрос и изображение наброска, а базовая модель SDXL использует их для создания изображения, согласованного с текстом и композицией эскиза. Адаптер содержит около 77–79 млн параметров и рассчитан на работу с Stable Diffusion XL Base 1.0. Модель обучали на 3 млн пар изображений высокого разрешения и текстовых описаний из LAION-Aesthetics V2; опубликованные веса представлены в формате safetensors. Карточка указывает английский язык и лицензию Apache 2.0. Модель подходит для превращения ручных набросков в законченные изображения и для задания композиции при генерации по текстовому запросу. Результат зависит от качества и детализации эскиза, формулировки запроса и совместимого пайплайна SDXL; адаптер сам по себе не является самостоятельной базовой моделью генерации.

TextPecker-8B-Qwen3VL — мультимодальная модель для оценки визуально отображённого текста, разработанная Ханьшэн Чжу, Юлян Лю и соавторами. Она дообучена на архитектуре Qwen3-VL-8B-Instruct с помощью ms-swift и предназначена для выявления структурных аномалий в тексте на изображениях: искажений, размытия и смещения. Модель оценивает структурное качество и смысловую согласованность текста, созданного при генерации или редактировании изображений. Её можно применять как оценщик и источник вознаграждения для RL-оптимизации генераторов изображений, чтобы улучшать точность отображения текста. Репозиторий содержит веса Safetensors; лицензия — Apache 2.0. Карточка не сообщает отдельные показатели качества или ограничения по поддерживаемым языкам и длине контекста.

Video-Reason/VBVR-Pro-FLUX2-dev — модель редактирования изображений по инструкциям, созданная командой Video-Reason на основе дообучения FLUX.2-dev. Она предназначена для изменения изображений по текстовому запросу и подходит для экспериментов с визуальным рассуждением через генерацию и редактирование изображений. Модель основана на FLUX.2-dev и распространяется как объединённый чекпойнт Diffusers в формате safetensors: LoRA-адаптер ранга 32 уже слит с весами трансформера. README описывает набор VBVR-Pro из 300 процедурно создаваемых задач и проверяемые оценщики вознаграждения для исследований визуального рассуждения; сама модель дообучена на наборе VBVR-Dataset. Лицензия — Apache-2.0.

VideoLISA-3.8B — модель для сегментации объектов в видео по текстовым инструкциям, представленная Zechen Bai и соавторами из Show Lab Национального университета Сингапура и Amazon. Работа описана на NeurIPS 2024 под названием «One Token to Seg Them All: Language Instructed Reasoning Segmentation in Videos». Модель основана на LLaVA-Phi-3-mini-4k-instruct и дообучена для языково-инструктируемой сегментации. Она содержит 3,7 млрд параметров, использует архитектуру LLaVA-Phi и принимает контекст до 4096 токенов. Предназначена для понимания текстовых запросов о содержимом видео и сегментации соответствующих объектов; в каталоге также отмечена поддержка генерации текста и чата. Модель принимает изображения и текстовые инструкции и выдаёт текст и маски сегментации. В карточке указана лицензия Apache-2.0. README не содержит дополнительных сведений о качестве, поддерживаемых языках или практических ограничениях; метаданные указывают английский язык.

WD SwinV2 Tagger v3 — модель SmilingWolf для автоматической разметки изображений тегами. Она предсказывает рейтинговые, персонажные и общие теги, обучена на изображениях Danbooru и предназначена для автоматической категоризации и поиска изображений по содержимому. Модель основана на архитектуре SwinV2 и совместима с timm; доступны веса в форматах ONNX и safetensors, а ONNX поддерживает пакетную обработку. Для запуска ONNX требуется onnxruntime версии 1.17.0 или новее. Валидация версии 2.0 на наборе автора показала F1 0,4541 при пороге 0,2653. Результаты зависят от порога и распределения тегов; обучение проводилось на отфильтрованной выборке Danbooru, поэтому полноту тегирования на других типах изображений следует проверять отдельно. Лицензия — Apache-2.0.

EPFL-VILAB/4M-21_XL — модель семейства 4M-21, разработанная исследователями EPFL-VILAB и представленная в работе «4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities». Она построена на подходе Massively Multimodal Masked Modeling: токенизация и маскирование позволяют обучать модель на множестве разных модальностей и задач. Репозиторий содержит предварительно обученные веса в формате safetensors; для загрузки используется библиотека ml-4m. Модель предназначена для широкого круга задач компьютерного зрения и мультимодальной генерации: она может преобразовывать входы между модальностями, включая задачи, не встречавшиеся при обучении, и поддерживает управляемую генерацию. В README заявлена работа с десятками задач и модальностей, но точный состав входов и выходов для этого чекпойнта не перечислен. Размер модели и длина контекста в предоставленных данных не указаны. Лицензия обозначена в метаданных как other, без уточнения условий в доступных сведениях. Карточка предназначена для применения как предварительно обученной мультимодальной модели; качество на конкретных задачах зависит от выбранных модальностей и настройки использования.