I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельHassanBlend1.4 — модель для генерации изображений по текстовым запросам, созданная разработчиком hassan. Она распространяется в форматах Diffusers, PyTorch и Safetensors и предназначена для использования с StableDiffusionPipeline. Модель можно применять для создания изображений по промптам; автор также публикует примеры и советы по фотореалистичным изображениям. Для запуска доступен интерфейс Gradio. Репозиторий лицензирован по CreativeML OpenRAIL-M.
calcuis/hidream-gguf — это GGUF-квантованная версия текстово-генеративной модели изображений HiDream-I1-Full, разработанной HiDream-ai и адаптированной для использования в ComfyUI. Репозиторий включает варианты full, dev, fast, e1 и e1-1, а также необходимые GGUF-файлы основной модели, текстовых энкодеров и VAE. Модель предназначена для генерации изображений по текстовым описаниям. В рабочих процессах можно использовать один или несколько текстовых энкодеров, включая Llama и T5XXL; README демонстрирует режимы с одним энкодером Llama и с комбинацией Llama и T5XXL. Примеры ориентированы на англоязычные промпты, но другие языки, размер модели, точная архитектура, максимальная длина контекста и поддерживаемые модальности в README не указаны. К сильным сторонам относятся готовый набор компонентов GGUF и несколько вариантов модели, рассчитанных на разные сценарии использования. Для работы требуется обновлённый узел gguf-node и размещение модели, энкодеров и VAE в соответствующих каталогах ComfyUI. Ограничениями являются зависимость от этой инфраструктуры и отсутствие в README подробностей о производительности, качестве, требованиях к памяти и различиях между вариантами. Модель распространяется по лицензии MIT.
MaxCushion — модель генерации изображений по текстовому описанию, опубликованная пользователем colt12. В карточке она названа дообученной моделью Stable Diffusion XL и предназначенной для генерации изображений в определённой тематике или стиле, однако описание этой специализации оставлено шаблонным и не раскрывает её. Модель рассчитана на создание изображений по англоязычным запросам и предлагается для использования через библиотеку diffusers. README указывает базовую модель FLUX.1-dev, но это противоречит заявленной архитектуре SDXL; метаданные также указывают на Stable Diffusion XL. Поэтому точную базовую модель установить нельзя. Лицензия — CreativeML Open RAIL-M.
Mitsua Diffusion One — латентная диффузионная модель генерации изображений по текстовому описанию, разработанная Abstract Engine как основа для деятельности AI VTuber Elan Mitsua. Модель обучена с нуля; для обработки текста используется предварительно обученный энкодер OpenCLIP ViT-H/14. Доступна в форматах Diffusers и PyTorch. Модель предназначена для создания изображений по текстовым запросам. Обучение проходило на разрешениях от 256×256 до 768×512 и 512×768; набор данных включал около 11 млн изображений из общественного достояния, под лицензией CC0 или с разрешением на использование. В README отдельно указано, что версия с суффиксом «base» не содержит последующего дообучения, тогда как версия Diffusers и файл mitsua-diffusion-one.ckpt дообучены методом Diffusion With Offset Noise. Авторы предупреждают о низком качестве и недостаточном разнообразии результатов. Лицензия модели обозначена в метаданных как other; README сообщает об источниках обучающих данных, но не уточняет условия лицензии самой модели.
Abhijnyabhat/mo — это веса textual inversion для Stable Diffusion v1.4 от CompVis, предназначенные для адаптации генерации изображений по текстовым запросам. Репозиторий использует библиотеку Diffusers и содержит веса в формате safetensors. Модель принимает текстовые запросы и выдаёт изображения. Она подходит для генерации изображений с изученным текстовым представлением при использовании вместе с базовой моделью CompVis/stable-diffusion-v1-4. Лицензия — CreativeML OpenRAIL-M. README не содержит примеров запуска или описания конкретной концепции, которую кодируют веса.
Qwen-Image-2.1 Uncensored GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen-Image-2.1, опубликованный пользователем 0xSojalSec. Модель предназначена для локальной генерации изображений по текстовым описаниям, в том числе через ComfyUI с расширением ComfyUI-GGUF. В репозитории представлены варианты Q8_0, Q6_K, Q5_K_M, Q4_K_M и Q4_0 размером от 4,05 до 7,59 GiB; для Q4_K_M заявлен оптимальный баланс размера и качества. GGUF-файлы содержат image transformer Qwen-Image-2.1, а для работы также требуются исходные text encoder и VAE. Архитектура, число параметров, поддерживаемые языки и размер контекста в README не указаны. Преимущество модели — возможность локального запуска и выбор уровня квантизации, однако качество зависит от выбранного варианта и доступных аппаратных ресурсов. Автор сообщает об отсутствии обнаруженных на уровне пайплайна safety checker и blacklist промптов, поэтому модель может генерировать чувствительный контент; внешние сервисы могут применять собственную модерацию. Распространение осуществляется по лицензии Qwen Research License.
resnet18.tiatoolbox-pcam — модель классификации изображений на архитектуре ResNet18, обученная центром Tissue Image Analytics (TIA) на гистологических патчах из набора Patch Camelyon (PCam). Она предназначена для классификации небольших изображений ткани и может использоваться как основа для извлечения признаков и эмбеддингов. Модель рассчитана на изображения размером 96 × 96 пикселей с тремя цветовыми каналами и содержит около 11,2 млн параметров. Модель ориентирована на анализ гистологических изображений в задачах, связанных с выявлением опухолевой ткани. Репозиторий распространяет веса в формате Safetensors; лицензия — Creative Commons Zero v1.0 Universal (CC0).
opendiffusionai/sd-flow-alpha — экспериментальная версия модели Stable Diffusion 1.5 от OpenDiffusionAI. В ней заменены планировщик шума и тип предсказания на FlowMatchEulerDiscrete, чтобы исследовать FlowMatch и использовать его в собственных дообучениях. Модель создаёт изображения по текстовым запросам; автор отмечает, что базовая Stable Diffusion 1.5 может давать более качественные результаты. Модель опубликована в формате Diffusers с весами safetensors и полной точностью FP32. Для работы с ней автор указывает на несовместимость с diffusers 0.34.0: требуется изменённый код или актуальная версия из основной ветки. В ComfyUI автор предлагает подключить UNet через узел Load Diffusion Model и ModelSamplingSD3, используя CLIP и VAE от SD 1.5. Основана на stable-diffusion-v1-5/stable-diffusion-v1-5 и дообучена на наборе opendiffusionai/cc12m-small-squarish-simple. Условия лицензии в предоставленных данных не приведены.
DJMOON/textual_inversion_spr_01 — адаптация в формате textual inversion для Stable Diffusion v1.5, опубликованная разработчиком DJMOON. Весам адаптера нужна базовая модель stable-diffusion-v1-5/stable-diffusion-v1-5; они предназначены для генерации изображений по текстовым запросам с применением выученного текстового представления. Репозиторий использует Diffusers и формат Safetensors. Модель можно применять в сценариях text-to-image, подключив веса к базовой Stable Diffusion v1.5. Для репозитория указана лицензия CreativeML Open RAIL-M. В README не описаны примеры использования, характеристики получаемых изображений или конкретные ограничения и смещения.
Это веса текстовой инверсии для модели CompVis/stable-diffusion-v1-4, опубликованные пользователем abhipsabasu. Они предназначены для адаптации генерации изображений по текстовым запросам с помощью Diffusers. Для работы их нужно использовать вместе с базовой моделью Stable Diffusion 1.4; репозиторий содержит веса в формате safetensors. Примеры настройки и применения в карточке не приведены. Лицензия — CreativeML OpenRAIL-M.
kopyl/ui-icons-256 — модель генерации изображений для создания иконок по текстовому описанию, разработанная автором kopyl и дообученная на MiniSD. Репозиторий содержит веса в формате Diffusers и safetensors; базовая модель — lambdalabs/miniSD-diffusers. Модель создаёт изображения размером 256×256 пикселей и рассчитана на промпты, оканчивающиеся словом «icon».
VBVR-Pro-Wan2.2-TI2V-5B-SDE-RL — дообученная Video-Reason модель на базе Wan2.2 TI2V-5B для генерации видео по исходному изображению и изучения визуального рассуждения. Она обучена с подкреплением на задачах VBVR-Pro с проверяемыми наградами, используя DanceGRPO и rectified-flow SDE с коэффициентом шума η=0,3. Модель поставляется как полный чекпойнт Diffusers с трансформером, текстовым энкодером, токенизатором, VAE и планировщиком. Модель предназначена для генерации видео, обусловленной изображением, и исследований траекторий визуального рассуждения. В опубликованной оценке использовались ролики 512×512 пикселей, 81 кадр, 16 кадров/с и 30 шагов инференса; результаты зависят от настроек и не гарантируют качества на других запросах. Для загрузки полного пайплайна требуется значительный объём памяти, а на менее мощных GPU рекомендуется выгрузка частей модели на CPU. В README также указано, что траектории рассуждения могут быть ошибочными или визуально несогласованными. Лицензия — Apache-2.0.
ViRDM — набор обученных генераторов для создания видео по текстовому описанию и компактных артефактов для воспроизведения обучения. В репозитории представлены две причинные модели с четырьмя шагами генерации: основная версия с регуляризацией динамики и сопоставленная версия без неё; основная модель выполняет 20 обновлений. Также доступны 6 505 подписей из исходного обучающего раздела Causal-Forcing-data, фиксированный совместный видео-текстовый набор ориентиров из 4 096 элементов и выровненные признаки текста SigLIP2. Модель предназначена для экспериментов с генерацией видео по тексту и воспроизведения обучения ViRDM. Репозиторий содержит веса PyTorch и обучающие материалы, но README не сообщает размер модели, поддерживаемые языки запросов, длину контекста или условия лицензии; в метаданных указана лицензия other.
ljnlonoljpiljm/florence-2-base-nsfw-v2-ext-mlx — это конвертированная в формат MLX версия модели ljnlonoljpiljm/florence-2-base-nsfw-v2-ext, предназначенная для задач image-text-to-text с изображениями. Модель подготовлена для запуска через библиотеку mlx-vlm и Transformers на совместимой с MLX инфраструктуре. Она может использоваться для генерации текстового описания изображения и других сценариев взаимодействия изображения с текстом, поддерживаемых исходной моделью Florence-2. Суффикс nsfw и метка not-for-all-audiences указывают на ориентацию версии на содержимое для взрослых или чувствительный контент. В README приведён пример запроса описания изображения с ограничением генерации до 100 токенов. Модель является конвертацией, поэтому её поведение зависит от исходной модели и корректности поддержки MLX. README не содержит сведений о лицензии, языках, размере параметров или длине контекста.
FLUX.2-klein-9B Uncensored Text Encoder — модифицированный текстовый энкодер для модели генерации изображений FLUX.2-klein-9B, разработанной Black Forest Labs. Репозиторий поддерживает английский и японский языки и предназначен для генерации изображений по текстовым описаниям через ComfyUI или программные сценарии на базе Transformers и Diffusers. Модель основана на архитектуре Qwen3 и используется совместно с DiT-компонентом FLUX.2-klein-9B. Вместо дообучения на дополнительных наборах изображений применена abliteration — математическая ортогонализация векторов отказа в слоях 14–24 с изменением проекций Attention и MLP. Доступны веса Safetensors и квантизованные варианты GGUF F16, Q8_0, Q6_K и Q4_K_M, что позволяет выбирать между качеством и требованиями к памяти. Размер текстового энкодера в README явно не указан, но название указывает на класс 9B. Сильная сторона модели — снятие встроенных ограничений на этапе обработки промпта при сохранении близкого поведения на безопасных запросах; для них заявлено косинусное сходство 0,9696 с исходной моделью. Ограничение состоит в том, что удалены защитные фильтры, поэтому модель может генерировать нежелательный или потенциально опасный контент и требует ответственного применения. Лицензия указана как flux-non-commercial-v2.1; использование также подчиняется применимому законодательству и условиям доступа репозитория.
NoobAI-XL-1.1-DF11-ComfyUI — сжатая версия модели NoobAI-XL-1.1 от Laxhar, подготовленная пользователем mingyi456 для генерации изображений из текстовых описаний. Модель предназначена для работы в ComfyUI и основана на архитектуре SDXL. Сжат компонент UNet, являющийся основной диффузионной частью SDXL-пайплайна; компоненты CLIP и VAE необходимо брать из исходного чекпойнта. Сжатие рассчитано на сохранение результатов оригинальной 16-битной модели при запуске ComfyUI с флагом --bf16-unet. Основное преимущество — существенное снижение потребления видеопамяти UNet: примерно с 5,14 до 3,66 ГБ, что может позволить запускать его на видеокартах с 6 ГБ VRAM при поддержке BF16. При этом модель примерно на 200 МБ больше ожидаемого размера, поскольку тензоры Conv2D не сжимаются для сохранения совместимости. Для использования требуется установить специализированный узел ComfyUI DFloat11 Extended и запускать ComfyUI с параметром --bf16-unet. Модель ориентирована на англоязычные текстовые запросы; заявленная модальность — текст-в-изображение. Ограничения включают необходимость исходных компонентов CLIP и VAE, поддержку BF16 со стороны GPU и использование совместимого пользовательского узла. Лицензия указана как Fair AI Public License 1.0 SD.
ProteusSigma — дообученная модель генерации изображений на основе Stable Diffusion XL Base 1.0. Её разработчик объединил датасеты Proteus и Mobius и применил улучшения ZTSNR и NovelAI V3; карточка указывает обучение на 500 тысячах изображений. Модель принимает текстовые запросы на английском языке и генерирует изображения. Для наилучших результатов требуется специальный inference-код и пользовательский узел для ComfyUI. В карточке заявлены повышенная максимальная сигма σ_max около 20000 и улучшенная согласованность при высоком разрешении. Автор отмечает, что модель пока не настраивалась на эстетическое качество, поэтому результаты могут требовать подбора запросов и параметров генерации. Распространяется по лицензии Apache 2.0.
RefCaptioner — мультимодальная модель на 8 млрд параметров, созданная на основе Qwen/Qwen3-VL-8B-Instruct для описания видео с привязкой фраз к нескольким эталонным изображениям. На вход подаются видео и упорядоченный набор изображений-образцов; модель формирует один абзац на английском языке и ставит специальные теги рядом с фразами, визуально подтверждёнными соответствующими образцами. Она обучена отбрасывать отвлекающие или недостаточно подтверждённые образцы, а выпущенная версия представляет собой объединённый checkpoint, которому не нужен PEFT-адаптер при запуске. Модель предназначена для исследований понимания видео с несколькими эталонами, генерации привязанных описаний и сопоставления локальных фраз с изображениями. В README приведены результаты на MRVBench, однако они зависят от настройки промпта, выборки кадров, ограничений на изображения и декодирования. Короткие события между выбранными кадрами могут быть пропущены; теги отражают визуальную привязку, а не подтверждение личности. Лицензия — Apache-2.0.
ROSALIA-7B-v1 — мультимодальная модель компьютерного зрения, разработанная для сегментации патологических очагов на рентгенограммах грудной клетки по текстовым инструкциям. Это дообученная версия LISA-7B-v1, обученная на наборе MIMIC-ILS для сегментации очагов и ответов на инструкции в медицинском контексте. Модель поддерживает архитектуру LLaVA, содержит 6,6 млрд параметров и рассчитана на контекст до 2048 токенов; репозиторий содержит веса PyTorch. ROSALIA предназначена для сегментации различных очагов на снимках грудной клетки по пользовательскому запросу и для выдачи текстовых пояснений. Карточка связывает чекпойнт с работой, принятой на CVPR 2026. Лицензия в доступных данных не приведена. Модель ориентирована на медицинские изображения, поэтому результаты требуют проверки специалистом; сведений о диагностической точности и клиническом применении в карточке нет.
Это веса textual inversion от abhipsabasu для генерации изображений по текстовым запросам на базе CompVis/stable-diffusion-v1-4. Они добавляют к Stable Diffusion v1.4 изученное текстовое представление, которое можно использовать как часть запроса при генерации изображений; репозиторий рассчитан на подключение к Diffusers и содержит веса в формате safetensors. Модель предназначена для преобразования текстовых запросов в изображения. Базовая модель преимущественно работает с английским языком. В README не приведены примеры использования или сведения о качестве и характерных ограничениях этих весов. Лицензия — CreativeML OpenRAIL-M; при использовании следует соблюдать её условия.
VBVR-Pro-Wan2.2-TI2V-5B-RLVR — модель генерации видео по входному изображению, разработанная авторами проекта VBVR-Pro. Это полный чекпойнт Diffusers на базе Wan2.2 TI2V-5B, дообученный с подкреплением по проверяемым наградам для задач генерации видео с визуальным рассуждением. В репозитории доступны компоненты модели и конвейер image-to-video с несколькими вариантами инференса. Модель предназначена для исследований генерации видео, обусловленной изображением, и визуального рассуждения. В оценке VBVR-Pro использовались ролики 512 × 512 пикселей по 81 кадру; настройки инференса включают 16 кадров в секунду и 30 шагов. README приводит результаты на бенчмарке, но подчёркивает, что они не гарантируют такое же качество при других запросах и конфигурациях. Модель может создавать ошибочные или визуально непоследовательные траектории рассуждения и наследует ограничения и возможные смещения базовой Wan2.2. Полная загрузка требует значительных ресурсов CPU и ускорителя. Лицензия — Apache-2.0.
AstolfoMix-XL — семейство моделей для генерации изображений по текстовому описанию, опубликованное автором аккаунта 6DammK9. Репозиторий содержит варианты SDXL в формате Diffusers и SafeTensors, созданные слиянием множества моделей; в README описаны методы Uniform Soup, TIES, DARE и другие варианты слияния. Для текущей карточки указана библиотека Diffusers и задача text-to-image. Модель предназначена для генерации изображений по коротким или минимальным промптам; автор отмечает, что некоторые варианты способны работать даже с пустым запросом. В README приведены рекомендации по CFG и отдельным параметрам сэмплирования, которые различаются между версиями. Метаданные указывают английский язык, но это само по себе не подтверждает исключительную поддержку только английских промптов. Это экспериментальное семейство SDXL-слияний: автор прямо называет слияние нерешённым и сообщает, что вариант 255c плохо следует промптам. Лицензия репозитория — CreativeML OpenRAIL-M; условия лицензии распространяются на использование и распространение модели.
Easter Fusion — модель преобразования текста в изображение, опубликованная пользователем idlebg. Это объединённый чекпойнт Stable Diffusion: в него вошли обученная LoRA размерности 512, веса ChilloutMix NiPrunedFp32Fix и deliberate_v2. Автор описывает использование LoRA с весами TEnc 0,2 и UNet 1 и приводит параметры слияния моделей. Модель предназначена для генерации изображений по текстовым запросам в Diffusers. В карточке указан английский язык. Репозиторий содержит веса в форматах Diffusers, PyTorch и safetensors. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в материалах репозитория; README их не уточняет.
SidXXD/f-95 — текстовая инверсия для Stable Diffusion v1.5, созданная разработчиком SidXXD. Это адаптационные веса для генерации изображений по текстовому запросу: после подключения к базовой модели они задают дополнительное понятие для использования в запросах. Репозиторий рассчитан на работу с Diffusers и содержит веса в формате safetensors. Модель основана на stable-diffusion-v1-5/stable-diffusion-v1-5 и распространяется по лицензии CreativeML OpenRAIL-M. Для генерации требуется базовая модель Stable Diffusion v1.5; README не уточняет, какое понятие добавляют веса, и не приводит языковые или технические характеристики обучения.
digiplay/kencanmix_v2.0beta — модель генерации изображений по текстовому описанию в формате Diffusers. Автор README сообщает, что создал пример изображения с помощью Diffusers в Google Colab; дополнительных сведений о разработчике и обучении модели нет. Репозиторий содержит веса в форматах PyTorch и safetensors и предназначен для генерации изображений по текстовым запросам. В карточке Hugging Face указана лицензия other, поэтому условия использования следует сверять с самой лицензией репозитория.
SidXXD/m-343 — веса textual inversion для Stable Diffusion v1.5, опубликованные SidXXD. Их подключают к базовой модели stable-diffusion-v1-5/stable-diffusion-v1-5, чтобы создавать изображения по текстовым запросам с выученным понятием или стилем. Репозиторий использует библиотеку Diffusers и содержит веса в формате safetensors. Лицензия — CreativeML OpenRAIL-M.
Это дообученная модель Segment Anything Model (SAM), опубликованная Lorenzob и предназначенная для сегментации опухолей головного мозга на медицинских изображениях. Она принимает 2D-срез изображения и рамку с областью интереса, после чего предсказывает маску опухоли. Веса доступны в формате safetensors; лицензия — MIT. Модель обучали на симулированном наборе данных из двумерных срезов, полученных из трёхмерных изображений NIfTI, и соответствующих масок. При обучении рамки вокруг опухолей строились по эталонным маскам. Модель использует prompt-based сегментацию SAM и предназначена для экспериментов с разметкой опухолей на отдельных срезах. Качество на реальных и разнообразных клинических данных требует строгой проверки. Результат зависит от точности заданной рамки; модель работает с 2D-срезами и не выполняет сегментацию полного 3D-объёма напрямую.
SDXL Detector — модель классификации изображений, созданная Organika дообучением детектора AI-изображений umm-maybe. Она использует архитектуру Swin и содержит 58,7 млн параметров. Модель предназначена для распознавания изображений, созданных SDXL, и различения таких изображений от изображений из Wikimedia; обучающий набор включал пары изображений Wikimedia и генераций SDXL по подписям BLIP. Автор сообщает об улучшении относительно исходного детектора на изображениях от более новых диффузионных моделей и на разнообразных сюжетах, а также приводит метрики проверки: точность 98,1% и F1 97,3%. Качество может быть ниже для генераций других моделей; на изображениях от старых систем, например VQGAN+CLIP, модель уступает исходному детектору. Доступны веса safetensors и формат ONNX. Лицензия CC BY-NC 3.0 ограничивает использование некоммерческими целями; автор также отмечает возможные вопросы авторских прав в данных, использованных для обучения исходного детектора.
segformer-v1-breastcancer — модель сегментации медицинских изображений, разработанная на основе SegFormer B0 и дообученная сообществом as-cle-bert на датасете семантической сегментации рака молочной железы. Она присваивает пикселям изображения классы, помогая выделять области, связанные с тканью или патологией, для анализа медицинских изображений. Модель использует архитектуру SegFormer и формат весов safetensors. В README приведены результаты оценки: mIoU 0,6074, средняя точность 0,7133 и общая точность 0,6718. Эти показатели относятся к указанному набору оценки и сами по себе не подтверждают пригодность для клинической диагностики. Модель распространяется по лицензии CC; конкретный вариант лицензии не уточнён в доступных данных.
004T/v3-5 — модель генерации изображений по текстовому описанию, созданная автором 004T методом DreamBooth на основе Stable Diffusion. Карточка связывает обучение с быстрым ноутбуком DreamBooth TheLastBen и предлагает проверять концепцию через A1111 Colab. Репозиторий содержит модель в формате Diffusers/PyTorch. Модель предназначена для генерации изображений по текстовым запросам с усвоенной концепцией. В карточке нет сведений о размере, базовом чекпойнте, контексте или конкретных языках запросов; лицензия — CreativeML OpenRAIL-M.