I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельVBVR-Wan2.2 — дообученная модель генерации видео из изображения, представленная авторами набора VBVR в исследовании A Very Big Video Reasoning Suite. Она основана на Wan2.2-I2V-A14B и сохраняет исходную архитектуру без изменений. Модель предназначена для изучения того, как масштабирование данных влияет на рассуждения о видео, и служит базовым решением для исследований в этой области. Модель принимает изображение и текстовое описание и генерирует видео. По данным авторов, обучение проводилось на VBVR-Dataset — наборе более чем из миллиона видеоклипов для 200 задач рассуждения; модель показала наилучший результат на VBVR-Bench. Репозиторий распространяет веса в формате Diffusers и Safetensors. Лицензия — Apache-2.0.
Z-Image-Turbo-DeJPEG-Lora — адаптер LoRA для генерации изображений по текстовому описанию. Модель разработана пользователем или организацией с идентификатором wcde и предназначена для подключения к базовой модели Tongyi-MAI/Z-Image-Turbo в экосистеме Diffusers. В README указано, что это diffusion LoRA с тегами text-to-image, lora и diffusers. Размер, архитектурные детали, поддерживаемые языки, модальности помимо текста и изображений, длина контекста, результаты оценки и точное назначение эффекта DeJPEG не описаны. Лицензия также не указана, поэтому условия использования необходимо уточнять по карточке базовой модели и репозиторию.
Gemini 2.5 Flash Image, также известная как Nano Banana, — модель Google для генерации изображений с контекстным пониманием. Она предназначена для создания изображений по запросам и работы с визуальным контекстом. Карточка описывает модель как общедоступную и отмечает её возможности генерации изображений. В доступных сведениях не приведены размер модели, архитектура, поддерживаемые языки, длина контекста и условия лицензии. Каталог классифицирует её как image-text-to-text; подробности о входных данных и ограничениях в карточке отсутствуют.
LongiTrack — модель для интерактивного отслеживания и сегментации очагов на сериях КТ с использованием точечных подсказок. Она работает через библиотеку LongiSeg и использует изображения КТ вместе с файлом tracking.json в формате LongiSeg. Модель предназначена для анализа продольных исследований, где требуется сопоставлять очаги между обследованиями и просматривать или корректировать точки отслеживания в интерактивном интерфейсе napari. В карточке указаны версии 1.0 и 1.1: для обучения использовались наборы AutoPET IV, а для версии 1.1 также PanTrack и HCUCH. Работа описана в статье «Exploiting Longitudinal Context in Clinician-Verified Interactive Lesion Tracking». Модель распространяется по лицензии CC BY-NC-SA 4.0. Авторы ограничивают её исследовательским применением: она не является медицинским устройством и не должна быть единственным основанием для диагностики, лечения или других клинических решений.
pixel-art-diffusion-xl — модель генерации изображений по текстовому описанию, опубликованная в репозитории stablediffusionapi и предназначенная для использования через ModelsLab API. README показывает вызов модели с текстовым prompt и negative prompt и настройками генерации, такими как размер изображения, число шагов и guidance scale. Метаданные указывают на конвейер StableDiffusionXLPipeline и форматы Diffusers и PyTorch; лицензия — CreativeML OpenRAIL-M. Название указывает на стилизацию под пиксельную графику, однако пример prompt в карточке описывает фотореалистичный портрет, поэтому специализация на пиксель-арте не подтверждена содержимым README.
Qwen-Image-SP — модель генерации изображений, представленная в работе «Scaling Properties of Text Conditioning in Visual Generation». Она создана на основе Qwen-Image и включает дообученные DiT и текстовый энкодер Qwen2.5-VL на данных со структурированными промптами для проекта по масштабированию контекстного условия. Модель предназначена для генерации изображений по текстовым запросам, в том числе структурированным и подробным. В репозитории размещены EMA-веса в формате bfloat16 общим объёмом около 55 ГБ, разделённые на 14 файлов safetensors. VAE, токенизатор и scheduler загружаются из Qwen/Qwen-Image. Модель распространяется по лицензии Apache-2.0. README описывает экспериментальную конфигурацию, связанную с исследовательской работой; данных о поддерживаемых языках и конкретных ограничениях качества не приведено.
abhipsabasu/textual_inversion_lbl — адаптер текстовой инверсии для Stable Diffusion v1.4 от автора abhipsabasu. Он добавляет к базовой модели обученные веса текстового встраивания и предназначен для генерации изображений по текстовым запросам с использованием Diffusers. Базовая модель — латентная диффузионная модель CompVis/stable-diffusion-v1-4, преимущественно работающая с английскими запросами. Репозиторий содержит веса в форматах Diffusers и safetensors и распространяется по лицензии CreativeML Open RAIL-M. README не описывает конкретную концепцию или токен, который адаптер обучает, поэтому нельзя точнее определить тематику создаваемых изображений. Для работы нужны базовая модель и совместимый конвейер StableDiffusionPipeline; карточка не приводит примеров запуска.
Anything-Midjourney-v-4.1 — модель генерации изображений по текстовому описанию, созданная Joeythemonster методом DreamBooth на базе Stable Diffusion. Карточка рекомендует проверять и использовать обученный концепт через интерфейсы A1111 или diffusers. Модель предназначена для генерации изображений с изученным концептом по текстовым запросам. Репозиторий содержит веса в форматах Diffusers, PyTorch и SafeTensors. Используется лицензия CreativeML OpenRAIL-M. Карточка не сообщает размер модели, длину контекста и поддерживаемые языки.
ArchitectureRealMix — модель генерации изображений по текстовому описанию, опубликованная под именем stablediffusionapi и предназначенная для использования через API ModelsLab. Пример запроса в карточке ориентирован на фотореалистичные архитектурные и интерьерные изображения; API позволяет задавать отрицательный запрос, размер изображения, число шагов генерации и другие параметры.
dblasko/blip-dalle3-img2prompt — модель BLIP, дообученная на смеси laion/dalle-3-dataset и автоматически собранных пар «изображение — промпт» для DALL·E 3. Она принимает сгенерированное изображение и формулирует вероятный текстовый запрос, который мог бы его создать; результат можно использовать как отправную точку для генерации похожих изображений. Модель предназначена для экспериментов с обратным восстановлением промптов и описанием изображений. В карточке указаны архитектура BLIP и форматы PyTorch и Safetensors. Модель ориентирована на английский язык. Автор указывает, что она не предназначена для коммерческого использования, поскольку обучающие данные включают изображения, созданные DALL·E 3; применение заявлено в образовательных целях. Лицензия в предоставленных данных не указана.
DistillPath-IS16-HOpt0 — разработанный Рамоном Каспаром, Андреем Игнатовым и Валентиной Боевой в ETH Zurich компактный энкодер изображений для вычислительной патологии. Это ViT-S/16 из timm с 21,7 млн параметров и размерностью признаков 384; модель извлекает признаки из патоморфологических изображений и срезов тканей. Модель получена дистилляцией backbone-токенов из H-optimus-0 (ViT-g/14, 1,1 млрд параметров) в студенческую ViT-S/16, предварительно обученную на ImageNet-21k. Дистилляция проводилась на 6 000 открытых слайдах TCGA. В опубликованных бенчмарках модель приблизилась к учителю и превзошла базовую ImageNet-21k версию ViT-S/16 по средним результатам EVA, HEST и PLISM. Модель предназначена для извлечения признаков, которые можно использовать в последующих задачах анализа медицинских изображений, включая исследовательские бенчмарки патологии. Лицензия — Apache-2.0. Показатели бенчмарков не гарантируют аналогичного качества на других наборах данных или клинических сценариях.
EGM-Qwen3-VL-8B-SFT — промежуточный чекпойнт с supervised fine-tuning из первого этапа конвейера обучения Efficient Visual Grounding Language Models, разработанного NVIDIA. Модель основана на Qwen/Qwen3-VL-8B-Thinking и предназначена для структурированного визуального grounding с явными рассуждениями; чекпойнт служит начальной точкой для последующего обучения с подкреплением методом GRPO. Это плотная мультимодальная модель семейства Qwen3-VL с архитектурой Qwen3VLForConditionalGeneration. Она принимает изображения и текст и формирует текстовые ответы; карточка указывает английский язык. Точность весов — bfloat16. Модель рассчитана прежде всего на продолжение обучения, а для использования с наилучшими заявленными результатами авторы указывают финальную модель nvidia/EGM-8B. Модель распространяется по лицензии Apache-2.0. В README чекпойнт обозначен как промежуточный этап, поэтому его качество для самостоятельного применения не следует считать эквивалентным финальной RL-модели.
Jyang1206/iris-dinov3-vits16-ssl-pilot — экспериментальный визуальный энкодер для извлечения признаков изображений офтальмологических хирургических инструментов. Это EMA teacher backbone, дообученный в небольшой DINO-стиле задаче self-distillation на основе Meta DINOv3 ViT-S/16; модель содержит 28,3 млн параметров и выдаёт 384-мерный эмбеддинг изображения. Она предназначена для поиска ближайших соседей и сравнения изображений инструментов по косинусному сходству. Чекпойнт адаптирован на 496 изображениях в течение 20 эпох. Его можно использовать для экспериментального поиска похожих изображений в офтальмологических наборах данных, однако README прямо отмечает отсутствие независимых сессий проверки и клинической валидации. Модель не должна быть единственным основанием для идентификации инструментов, захвата, сортировки или управления роботом. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.
LUSTIFY-SDXL-NSFW-checkpoint-v2-0-INPAINTING — чекпойнт для генерации изображений по текстовому описанию и преобразования изображений. Репозиторий рассчитан на использование с библиотекой Diffusers; метаданные указывают на архитектуру Stable Diffusion XL Inpaint. В README приведён пример генерации изображения из текстового запроса через Diffusers. Модель подходит для создания изображений с заданными объектами, стилем и визуальными деталями, а также для сценариев редактирования изображений. В названии и тегах указана ориентация на контент для взрослых. Модель распространяется по лицензии CreativeML OpenRAIL-M.
gokaygokay/moondream-prompt — дообученная версия Moondream2 для создания текстовых промптов по изображениям. Она принимает изображение и описывает его на естественном языке; пример в карточке сочетает описание персонажа и визуального стиля. Модель относится к компактному семейству Moondream, разработанному для эффективной работы на периферийных устройствах. Модель предназначена для подготовки промптов по изображению, например для повторного создания похожей сцены в генераторе изображений. В README не приведены сведения о размере, длине контекста и поддерживаемых языках. Лицензия репозитория — Apache-2.0.
AirRain03/qwen2vl_7b — дообученная модель Qwen2.5-VL-7B-Instruct для обогащения текстовых промптов при персонализированной генерации изображений. Она принимает исходный промпт и референсные изображения PIPBench, а затем формирует расширенный промпт; итоговые изображения создаются отдельно с помощью Qwen-Image. Чекпойнт относится к экспериментам PE в рамках PIPBench и не является QIP-чекпойнтом. Модель построена на мультимодальной архитектуре Qwen2.5-VL с 7,1 млрд параметров, поддерживает изображения и текст, использует библиотеку Transformers и формат safetensors. Контекстное окно — 128 000 токенов. Карточка не сообщает целевые языки. Модель предназначена для этапа подготовки промпта, а не для непосредственной генерации изображений. Распространяется на условиях лицензии базовой модели Qwen2.5-VL-7B-Instruct; лицензия в предоставленных данных не указана.
Экспериментальная версия Stable Diffusion XL Base 1.0 от opendiffusionai: в ней текстовый энкодер CLIP-L заменён на LongCLIP, а вклад CLIP-G обнулён. Модель генерирует изображения по текстовым запросам и рассчитана на работу с промптами длиной до 248 токенов без дополнительных приёмов расширения контекста. Автор сообщает, что исходная комбинация работает без дообучения и показывает обнадёживающие результаты, однако качество заметно снижается на длинных запросах; для улучшения планировалось обучение. Для загрузки README рекомендует использовать формат Diffusers через загрузчик Hugging Face: работоспособность предоставленного файла safetensors не подтверждена, а некоторые программы несовместимы с лимитом CLIP-L в 248 токенов. Лицензия в предоставленных данных не указана.
1aurent/vit_small_patch8_224.lunit_dino — модель классификации изображений на основе Vision Transformer (ViT), использующая метод самообучения DINO. Это визуальный бэкбон, обученный на 33 млн гистологических патчей из патологических датасетов. Модель содержит 21,7 млн параметров и принимает изображения размером 224 × 224 пикселя с тремя цветовыми каналами. Модель предназначена для классификации гистологических изображений и получения эмбеддингов патчей, которые можно использовать как признаки в последующих задачах анализа тканей. В обучении использовались данные BACH, CRC, MHIST, PatchCamelyon и CoNSeP; метаданные также указывают датасет NCT-CRC-HE. Репозиторий использует библиотеку timm и содержит веса в формате safetensors. Лицензия lunit-non-commercial ограничивает использование некоммерческими целями. Модель обучалась на патологии и может хуже работать на изображениях, отличающихся от обучающих данных; описание не приводит количественных оценок качества.
cat666/VToooo — модель генерации изображений по текстовому описанию на базе библиотеки Diffusers. Автор сообщает, что обучал её с learning rate 2.5e-6 на одной A6000; конкретная базовая модель и размер параметров не указаны. В README модель названа экспериментальной и переобученной, а для получения лучших результатов автор рекомендует разрешение выше 768×832 пикселей. Модель предназначена для создания изображений по текстовым запросам. Карточка не раскрывает стиль изображений, обучающие данные и дополнительные возможности. Модель опубликована по лицензии CreativeML Open RAIL-M.
Репозиторий содержит набор сжатых версий различных дообученных моделей Z-Image Turbo в формате DF11 для генерации изображений по текстовым запросам. Автор собрал конверсии моделей, исходные репозитории которых ему не удалось найти на Hugging Face; среди примеров есть варианты для стилизованной генерации и модель с маркировкой NSFW. Для использования описана загрузка весов через ComfyUI с узлом DFloat11 Extended; набор предназначен для рабочих процессов text-to-image. Базовая модель — Tongyi-MAI/Z-Image-Turbo, дистиллированная модель Alibaba для быстрой генерации изображений с английскими и китайскими надписями. Репозиторий указывает лицензию Apache-2.0, однако README не уточняет лицензии исходных дообучений и условия их распространения отдельно. Доступны файлы safetensors; набор включает многочисленные варианты, поэтому качество и стиль зависят от выбранного файла.
Z-Image-Turbo-sdcpp-GGUF — это экспериментальная квантизированная версия модели Z-Image Turbo, разработанной Tongyi-MAI. Модель предназначена для генерации изображений по текстовому описанию и распространяется в формате GGUF для использования с stable-diffusion.cpp. Репозиторий содержит варианты квантования, включая Q5_1 и Q4_0. Для работы также требуются VAE и языковая модель Qwen 3 4B в формате GGUF; README приводит пример генерации за 8 шагов, а для более быстрой генерации с потенциально более низким качеством рекомендует 5 шагов с семплером Euler, планировщиком sgm_uniform и TAE. Конкретные сведения об архитектуре, размере, поддерживаемых языках, контекстном окне и дополнительных модальностях в карточке не указаны. Это legacy-версии, описанные как экспериментальные; для стабильных квантов рекомендуется отдельный официальный репозиторий stable-diffusion.cpp. Модель требует версию stable-diffusion.cpp не ниже master-385-34a6fd4. Лицензия — Apache 2.0, как у исходной модели.
CervicalSeg — модель сегментации изображений кольпоскопии, разработанная Shi Minghai. Она выделяет область поражения шейки матки на снимке и относит пиксели к фону или поражению. Архитектура объединяет backbone DINOv3 ViT-S/16, декодер DPT и WTConv на двух последних этапах слияния высокодетальных признаков. Публичная версия обучена 51 эпоху на всех 1 465 доступных изображениях: исходные обучающая, валидационная и тестовая выборки были объединены, а все неб фоновые метки сведены к одному классу поражения. Поэтому для этого чекпойнта нет независимой тестовой метрики. Отдельный эксперимент разработки показал IoU 0,5847 и Dice 0,7379 на валидации, но эти показатели не являются независимой оценкой публичных весов. Модель предназначена для исследовательского выделения границ поражения на кольпоскопических изображениях. Она не определяет степень поражения, патологию или цветовую категорию. Это не медицинское изделие: результаты требуют проверки специалистом, а качество может снижаться на данных из не представленных при обучении учреждений, популяций и условий съёмки. Лицензия указана как other; конкретные условия в карточке не приведены.
Это конвертированная в формат GGUF BF16 версия дообученной модели ChenkinNoob/ChenkinNoob-XL-V0.2, опубликованная пользователем btaskel. Модель предназначена для генерации изображений по текстовому описанию. В карточке приведены общие замечания автора о компромиссах между размером модели, квантизацией и скоростью, но они не содержат конкретных рекомендаций или результатов для этой версии модели. Подтверждённых сведений об архитектуре, размере, поддерживаемых языках, контексте и лицензии в предоставленных данных нет.
DistillPath-IS16-UNI2h — энкодер тайлов гистологических изображений, разработанный Рамоном Каспаром, Андреем Игнатовым и Валентиной Боевой из ETH Zurich. Модель использует архитектуру ViT-S/16 из timm и содержит 21,7 млн параметров; это студенческая модель, обученная дистилляцией представлений из UNI2-h (ViT-H/14, 681 млн параметров). Вариант DistillPath-IS16 инициализирован весами ImageNet-21k; при обучении использованы 6 000 открытых слайдов TCGA. Модель предназначена для извлечения признаков из тайлов патологии и последующего применения в задачах анализа гистологических изображений. В описанных авторами бенчмарках она превосходит базовую модель ImageNet-21k по средним показателям EVA и HEST, хотя уступает учителю UNI2-h по этим метрикам. Опубликована в рамках исследовательского бенчмарка ECCV 2026 по медицинским фундаментальным моделям. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях с соблюдением атрибуции; для коммерческого использования требуется отдельное разрешение.
furusu/LCM-Acertainty — модель преобразования текстовых запросов в изображения, созданная автором furusu на основе ACertainty. Модель дистиллирована методом Latent Consistency Model для генерации примерно за 4–8 шагов и распространяется в формате Diffusers с весами Safetensors. Лицензия — MIT. Автор обучал LoRA ранга 128 (для свёрточных слоёв — 32) с размером батча 16 и слил её с моделью перед публикацией. Во время обучения использовались фиксированный guidance_scale 7.0 и negative prompt. Автор отмечает, что качество пока невысокое. Изменение guidance_scale не даёт эффекта, поскольку этот параметр не участвовал в обучении.
logo-wizard/logo-diffusion-checkpoint — модель генерации изображений, созданная на основе stabilityai/stable-diffusion-2-1 и logo-wizard/logo-diffusion и дообученная на наборе логотипов logo-wizard/modern-logo-dataset. Она предназначена для создания логотипов по текстовому описанию: например, можно задать отрасль компании, объекты и цвета, чтобы получить минималистичный логотип в стиле векторной графики. Модель использует Stable Diffusion и формат Diffusers/PyTorch. В README рекомендуются квадратные изображения размером 768 × 768, 30 шагов генерации и guidance scale 7,5. Карточка предлагает исключать из промпта результата текст, надписи и водяные знаки. Модель распространяется по лицензии CreativeML OpenRAIL-M; условия лицензии следует учитывать при использовании и распространении сгенерированных изображений и модели.
SidXXD/m-213 — веса textual inversion для Stable Diffusion v1.5, опубликованные SidXXD. Это адаптация для генерации изображений по текстовым запросам и используется вместе с базовой моделью stable-diffusion-v1-5/stable-diffusion-v1-5 через библиотеку Diffusers. Карточка указывает на примеры изображений, но не описывает конкретный изученный объект или стиль, поэтому назначение адаптации по ним определить нельзя. Репозиторий распространяется по лицензии CreativeML OpenRAIL-M.
mr-and-misses-v2 — модель генерации изображений по текстовому описанию, созданная fffiloni методом DreamBooth на базе Stable Diffusion. Карточка предлагает использовать её для проверки и генерации изображений с изученным концептом через интерфейсы A1111 или diffusers. Модель распространяется в форматах diffusers и PyTorch и предназначена для text-to-image. Лицензия — CreativeML OpenRAIL-M. Карточка не сообщает размер модели, длину контекста или поддерживаемые естественные языки.
PromptEnhancer-Img2img-Edit-i1-GGUF — это GGUF-квантизированная версия vision-модели PromptEnhancer-Img2img-Edit, разработанная PromptEnhancer и опубликованная в квантизированном виде mradermacher. Модель предназначена для улучшения и переписывания промптов для задач генерации и редактирования изображений, включая сценарии image-to-image. Она ориентирована на text-to-image и prompt enhancement, а также поддерживает работу с изображениями благодаря мультимодальной архитектуре исходной модели. В README указано, что модель поддерживает китайский и английский языки и распространяется в виде набора GGUF-квантов разных типов и размеров — примерно от 7,4 до 27 ГБ. Доступны варианты с разным компромиссом между размером, скоростью и качеством; среди рекомендованных отмечен i1-Q4_K_M, а i1-Q4_K_S описан как оптимальный по размеру, скорости и качеству. Для работы vision-компонента могут потребоваться отдельные файлы mmproj из статического репозитория. Точные сведения о количестве параметров, архитектуре базовой модели, размере контекста и поддерживаемых форматах входных изображений в README не приведены. Низкобитные кванты экономят ресурсы, но могут заметно снижать качество; некоторые варианты прямо помечены как низкокачественные. Модель распространяется по лицензии Apache-2.0 согласно указанным метаданным, при этом подробности условий следует уточнять в файле лицензии исходной модели.
Модель ByteDance SD v2.1-base с self-perceptual objective — дообученная версия Stable Diffusion 2.1 Base для генерации изображений по текстовому описанию. Она обучена на данных LAION Aesthetic 6+ с расписанием шума zero terminal SNR и предназначена для работы без classifier-free guidance: для генерации достаточно задать guidance_scale=0. Модель распространяется в форматах Diffusers и PyTorch, лицензия — OpenRAIL++. Авторы позиционируют её как демонстрацию исследовательского метода, поэтому её пригодность для производственного применения не заявлена.