I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельStable Diffusion 3.5 Large Turbo GGUF — это квантованная версия модели stabilityai/stable-diffusion-3.5-large-turbo, преобразованная в формат GGUF пользователем city96. Модель предназначена для генерации изображений по текстовому описанию и может использоваться в сценариях text-to-image и image generation. В README указана поддержка английского языка. Модель является прямой конвертацией исходной версии, а не дообученной моделью, поэтому её возможности и ограничения соответствуют оригиналу. Точные сведения об архитектуре, размере, доступных модальностях и длине контекста в README не приведены. Для запуска рекомендуется использовать пользовательский узел ComfyUI-GGUF, разместив файлы модели в каталоге ComfyUI/models/unet. Распространяются те же ограничения и условия, что и для исходной модели; указана лицензия Stability AI Community License.
Stable Diffusion 3.5 Medium Alchemist — модель Yandex, дообученная на датасете Alchemist на основе Stability AI Stable Diffusion 3.5 Medium. Она создаёт изображения по текстовым запросам; дообучение нацелено на улучшение эстетики и сложности генерируемых изображений. Модель использует архитектуру MMDiT-X и запускается через библиотеку Diffusers, веса представлены в форматах Diffusers и safetensors. Модель подходит для создания иллюстраций и сложных визуальных сцен по текстовому описанию. Карточка указывает английский язык. Лицензия — Apache-2.0. Количество параметров и длина контекста в предоставленных данных не указаны.
svjack/Stable-Diffusion-FineTuned-zh-v2 — модель генерации изображений из китайских текстовых запросов, разработанная Zhipeng Yang. Это диффузионная латентная модель (LDM), дообученная на базе Stable Diffusion; в README также упоминается базовая модель Taiyi-Stable-Diffusion-1B-Chinese-v0.1 от IDEA-CCNL. Модель предназначена для создания и редактирования изображений по текстовым описаниям на китайском языке и распространяется в форматах Diffusers и PyTorch. В карточке указана лицензия CreativeML OpenRAIL-M, а в метаданных лицензия обозначена как other. Модель ориентирована на китайские запросы; сведений о размере и длине контекста карточка не содержит.
Stable Diffusion v1-1 — модель генерации изображений по текстовому описанию, разработанная Робином Ромбахом и Патриком Эссером. Она предназначена для создания изображений и художественных материалов, а также для экспериментов с генеративными моделями. Модель использует латентную диффузионную архитектуру и фиксированный предварительно обученный текстовый энкодер CLIP ViT-L/14; веса репозитория рассчитаны на использование с библиотекой Diffusers. Обучение включало 237 тысяч шагов при разрешении 256×256 на LAION-2B-en и ещё 194 тысячи шагов при разрешении 512×512 на наборе высокоразрешённых изображений LAION. Основной язык запросов — английский. Лицензия CreativeML OpenRAIL-M задаёт условия использования и ограничения на вредоносное применение. Модель не гарантирует фотореализм, плохо отображает читаемый текст и сложные пространственные композиции, может ошибаться при генерации лиц и людей. Данные обучения содержат взрослые материалы и могут отражать культурные и социальные смещения; для практического развёртывания нужны меры безопасности.
Карточка модели Jinstudio/stable-diffusion-v-1-3-original на Hugging Face совпадает с карточкой CompVis/stable-diffusion-v-1-3-original, поэтому описание составлено по ней. Stable Diffusion v1.3 — модель генерации изображений по текстовому описанию, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель с фиксированным текстовым энкодером CLIP ViT-L/14; веса представлены в формате PyTorch. Версия 1.3 инициализирована весами Stable Diffusion v1.2 и дообучена на 195 000 шагах при разрешении 512×512 на подмножестве laion-improved-aesthetics с отключением текстового условия в 10% случаев для улучшения classifier-free guidance. Модель подходит для создания художественных изображений и иллюстраций по английским промптам, а также для творческих и образовательных инструментов и исследований генеративных моделей. Лицензия CreativeML OpenRAIL-M устанавливает условия использования и ограничения на отдельные сценарии применения. Модель не обеспечивает идеальный фотореализм, плохо передаёт читаемый текст и сложные пространственные отношения, а лица и люди могут получаться некорректно. Она лучше работает с английскими описаниями; обучение на данных LAION-5B, содержащих материалы для взрослых, а также отсутствие дедупликации создают риски нежелательных результатов и запоминания отдельных изображений, поэтому для практического развёртывания нужны дополнительные меры безопасности.
Карточка модели embedingHF/stable-diffusion-v1-5 на Hugging Face совпадает с карточкой stable-diffusion-v1-5/stable-diffusion-v1-5, поэтому описание составлено по ней. Stable Diffusion v1.5 — модель генерации и редактирования изображений по текстовому описанию, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель с предварительно обученным текстовым энкодером CLIP ViT-L/14. Репозиторий содержит веса в форматах Diffusers, PyTorch и Safetensors; модель можно запускать через Diffusers и совместимые интерфейсы, например ComfyUI и AUTOMATIC1111. Модель подходит для создания иллюстраций и концептов, художественных и дизайнерских материалов, а также для изучения генеративных моделей. Она лучше работает с английскими запросами. Модель может ошибаться в фотореализме, композиции, изображении лиц и людей, а также обычно не создаёт разборчивый текст внутри изображений. Обучающие данные содержали взрослый контент, поэтому для безопасного применения важны фильтрация и дополнительные меры защиты; возможны смещения и запоминание дублированных изображений. Лицензия — CreativeML OpenRAIL-M. Карточка ограничивает применение исследованиями и описывает недопустимые сценарии использования, включая создание вредоносных или дискриминационных изображений. Репозиторий является зеркалом устаревшей карточки RunwayML и не связан с RunwayML.
Карточка модели ashllay/stable-diffusion-v1-5-archive на Hugging Face совпадает с карточкой wyyadd/sd-1.5, поэтому описание составлено по ней. Stable Diffusion v1.5 — модель генерации и редактирования изображений по текстовым запросам, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель: она использует фиксированный текстовый кодировщик CLIP ViT-L/14 и создаёт изображения в разрешении 512×512. Чекпойнт основан на Stable Diffusion v1.2 и дообучен на 595 тысячах шагов на данных LAION-Aesthetics v2 5+ с отключением текстового условия в части примеров для улучшения classifier-free guidance. Модель подходит для создания иллюстраций, художественных изображений и материалов для творческих инструментов. Лучше всего она работает с англоязычными запросами. Доступны веса в формате Diffusers и safetensors; для использования указан лицензией CreativeML OpenRAIL-M, условия которой следует соблюдать. Модель может ошибаться в деталях и композиции, плохо рисует читаемый текст, лица и людей, а фотореализм не всегда точен. Обучающие данные содержали материалы для взрослых и могли закрепить социальные предубеждения; карточка рекомендует использовать Safety Checker из Diffusers и не применять модель для выдачи вымышленных изображений за достоверные изображения людей или событий.
Yntec/Stuff — модель генерации изображений по тексту на базе Stable Diffusion, опубликованная Yntec. Она предназначена для создания изображений по коротким запросам, в том числе названиям предметов и еды, а также по развёрнутым описаниям сцен. Репозиторий использует библиотеку Diffusers и формат Safetensors. В карточке приведены примеры генерации портрета красной панды, гамбургера, пиццы и колы с картофелем фри. Модель распространяется по лицензии CreativeML OpenRAIL-M. Данные о размере модели, длине контекста и поддерживаемых языках не приведены.
Taiyi-Stable-Diffusion-1B-Chinese-v0.1 — модель генерации изображений по текстовому описанию от команды IDEA-CCNL, созданная на основе Stable Diffusion v1.4. В README она названа первой открытой китайской Stable Diffusion-моделью; также указана поддержка китайских и английских запросов. Модель распространяется в форматах Diffusers и PyTorch. Для адаптации использовали отобранные пары китайских текстов и изображений из наборов Noah-Wukong и Zero: текстовый энкодер Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese обучали один проход, а остальные части Stable Diffusion v1.4 заморозили. Модель предназначена для создания иллюстраций и других изображений по описаниям, в том числе с китайскими культурными сюжетами и стилевыми указаниями. В README версия обозначена как предварительная; лицензия — CreativeML OpenRAIL-M.
TempestV0.1 — модель генерации изображений по текстовому описанию от инициативы Tempest, опубликованная пользователем dataautogpt3. В карточке указана архитектура StableDiffusionXLPipeline и форматы Diffusers, PyTorch и Safetensors; лицензия — GPL-3.0. Модель предназначена для создания изображений с высокой детализацией и проработанными текстурами. Автор описывает вариант Base как основной обученный чекпойнт, а Artistic — как вариант с большей стилистической выразительностью, основанный на сочетании Proteus и Tempest. В README указаны рекомендуемые настройки CFG и числа шагов, а также размеры 2048×1024 и 1920×1088. Автор сообщает об обучающем наборе из более чем 6 миллионов изображений и 3 миллионах итераций. Известное ограничение: из-за отличий распределения данных LoRA могут не работать на высоких разрешениях. Использование регулируется лицензией GPL-3.0.
TimeLens2-8B — мультимодальная языковая модель для временной локализации событий в видео, разработанная MCG-NJU на базе Qwen3-VL-8B-Instruct. На вход она принимает видео и текстовый запрос, а в ответ возвращает временной интервал, содержащий соответствующие визуальные свидетельства. Модель предназначена для поиска событий в коротких, длинных и видео от первого лица. В карточке сообщается о среднем mIoU 48,0 на семи бенчмарках временной локализации. Модель дообучена на Qwen3-VL-8B-Instruct; репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Длина контекста и поддерживаемые естественные языки в предоставленных источниках не описаны.
TinyCLIP ViT-8M/16 Text-3M — компактная модель семейства CLIP, созданная авторами метода TinyCLIP для сопоставления изображений и текста. Она получена дистилляцией с применением методов affinity mimicking и weight inheritance; вариант обучен на YFCC-15M. Репозиторий содержит веса в форматах PyTorch и safetensors и распространяется по лицензии MIT. Модель предназначена для классификации изображений без примеров с заданными текстовыми метками: пользователь задаёт варианты описаний, а модель оценивает соответствие изображения каждому из них. В таблице модели указана точность top-1 41,1% на ImageNet-1K и вычислительная стоимость 2,0 MACs(G); результаты относятся к приведённой в карточке оценке. Компактный размер ориентирован на более быстрый инференс, однако карточка не приводит отдельного сравнения скорости именно этого варианта с базовой моделью.
segmind/tiny-sd-mxfinetune — модель генерации изображений по текстовому описанию, созданная Segmind на основе SG161222/Realistic_Vision_V4.0. Модель представляет собой дистиллированную и дообученную версию Stable Diffusion, распространяемую для библиотеки Diffusers в форматах PyTorch и Diffusers. Модель предназначена для создания изображений по текстовым запросам. Обучение проводилось на подмножестве recastai/LAION-art-EN-improved-captions; в карточке также приведены параметры обучения и сравнение скорости с базовыми моделями SD 1.5. В README заявлено ускорение до 80% относительно базовых SD 1.5 на A100 80 ГБ. Лицензия — CreativeML OpenRAIL-M. В описании нет подробных сведений о поддерживаемых языках запросов и систематической оценке качества. Результаты генерации могут отличаться от базовой модели, а качество и скорость зависят от оборудования и настроек инференса.
Карточка модели alibaba-pai/Wan2.1-Fun-V1.1-14B-Control-Camera на Hugging Face совпадает с карточкой alibaba-pai/Wan2.1-Fun-V1.1-1.3B-InP, поэтому описание составлено по ней. Wan2.1-Fun-V1.1-1.3B-InP — модель семейства Wan2.1-Fun, представленная в карточке Alibaba PAI и распространяемая по лицензии Apache 2.0. Это вариант для генерации видео по тексту и изображениям; в README он описан как модель с обучением на нескольких разрешениях и поддержкой задания начального и конечного кадров. В репозитории указаны веса в формате safetensors и библиотека videox_fun. Модель подходит для создания коротких видеосцен по текстовому описанию, а также анимации изображения с управлением начальным и конечным кадрами. README проекта также описывает сценарии image-to-video, однако конкретные возможности зависят от выбранной модели и файла запуска. Вариант 1,3B требует значительных вычислительных ресурсов: документация предлагает режимы переноса модели в CPU, а квантование float8 может снизить качество генерации.
Wan2.2-TI2V-5B-MLX-Q8 — 8-битная версия модели Wan2.2-TI2V-5B, подготовленная для запуска через библиотеку mlx-video на компьютерах Apple Silicon. Это плотная модель семейства TI2V с трансформером на 5 млрд параметров, кодировщиком текста UMT5-XXL и VAE Wan2.2. Она создаёт видео 720p по текстовому описанию или исходному изображению; в README приведён пример генерации 41 кадра при 24 кадрах в секунду. Квантизованы линейные слои трансформера, тогда как эмбеддинги, нормализации и выходная голова сохранены в bf16; репозиторий также включает кодировщик текста в bf16 и VAE в fp32. Модель предназначена для локальной генерации видео на Apple Silicon. В README указана проверенная конфигурация с 64 ГБ объединённой памяти и рекомендация иметь не менее 32 ГБ; пример генерации видео 720p занял около 15 минут. Репозиторий описан как конверсия и квантизация базовой модели Wan-AI/Wan2.2-TI2V-5B. Лицензия — Apache-2.0.
zeroscopedarkv2 30x448x256 — модель генерации видео по тексту на основе ModelScope, обученная из исходных весов. Она предназначена для создания предварительных роликов с композициями 16:9, которые затем можно увеличить с помощью Potat1 в режиме vid2vid через расширение text2video для Stable Diffusion WebUI. Модель формирует видео из 30 кадров с разрешением 448×256 пикселей и обучена на 9 923 видеоклипах и 29 769 размеченных кадрах. В README заявлены отсутствие водяного знака, плавное воспроизведение и вариативность яркости. Низкое разрешение удобно для быстрого подбора композиции перед рендерингом в большем размере. Рекомендуется сохранять исходный запрос и настройки при увеличении ролика; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
CalypsoCrunchies99/zhmixfantasyv30_vaefix — модель генерации изображений по текстовому описанию, опубликованная пользователем CalypsoCrunchies99 на Hugging Face. В метаданных она обозначена как text-to-image и связана с библиотекой Diffusers и StableDiffusionPipeline. Модель предназначена для создания изображений по текстовым промптам в сценариях text-to-image. Достоверные сведения о числе параметров, поддерживаемых языках, длине контекста, лицензии, точной специализации, архитектурных деталях и ограничениях в доступных источниках отсутствуют.
Модель yaya36095/ai-image-detector, созданная пользователем yaya36095, определяет, является ли изображение реальным или сгенерированным искусственным интеллектом. Она предназначена для бинарной классификации изображений: «реальное» или «сгенерированное ИИ», с оценкой уверенности для каждого результата. Модель использует архитектуру Vision Transformer (ViT), работает с RGB-изображениями и автоматически приводит их к размеру 224×224 пикселя. Для запуска предусмотрены PyTorch и библиотека Transformers. Модель подходит для первичной проверки изображений и фильтрации потенциально сгенерированного контента. Лучше всего модель работает на чётких изображениях высокого качества; обработка фотографий с сильным редактированием может снижать точность. В карточке заявлено применение общего назначения для обнаружения изображений, лицензия — MIT.
albedobase2-xl — модель генерации изображений по текстовому описанию, опубликованная GraydientPlatformAPI на Hugging Face. Карточка модели включена в категорию text-to-image, а метаданные указывают на использование Diffusers и StableDiffusionXLPipeline. Модель предназначена для создания изображений по текстовым запросам. Репозиторий использует формат safetensors и распространяется по лицензии OpenRAIL. Данных о конкретном размере, поддерживаемых языках, длине контекста и специальных сильных сторонах в использованных источниках нет.
Anima Control — Pose (Preview-2) — адаптер управления позой для генерации изображений на основе Anima v1.0, разработанный авторами проекта Claquasse. Он принимает текстовое описание и карту скелетной позы, чтобы сгенерировать изображение, в котором персонаж следует заданному положению тела. Адаптер рассчитан на работу с ComfyUI и поддерживает разрешения 512, 768 и 1024 пикселя. Технически это Control-LoRA с конкатенацией каналов для замороженной DiT-модели Anima: VAE кодирует карту позы в пространственно выровненное управляющее латентное представление, а обучаемые ControlEmbedder и LoRA ранга 16 влияют на генерацию. Базовый трансформер, текстовый энкодер и VAE остаются замороженными; при нулевой силе управления адаптер не меняет результат базовой модели. Для извлечения позы из фотографии узел ComfyUI использует DWPose. По сравнению с первой версией адаптер обучен на большем наборе данных и лучше следует позам, особенно при 768 и 1024 пикселях. Он всё ещё экспериментальный: может пропускать позу, искажать тело или сливать пальцы; динамические положения менее надёжны, а короткие и расплывчатые запросы могут давать однообразный стиль. Требуется базовая модель Anima. Использование разрешено только в некоммерческих целях согласно лицензии базовой модели.
digiplay/BreakDro_i1464 — модель генерации изображений по текстовому описанию в формате Diffusers. Карточка содержит только ссылку на демонстрационное изображение, поэтому конкретное назначение, разработчик и особенности модели не описаны. По метаданным модель относится к семейству Stable Diffusion и распространяется в форматах PyTorch и safetensors под лицензией other. Модель можно использовать для создания изображений по текстовым запросам в совместимом конвейере Stable Diffusion. Сведения о размере, архитектурных деталях, поддерживаемых языках и ограничениях качества в доступных материалах отсутствуют.
Canter — предварительная модель генерации изображений по тексту, созданная независимым разработчиком data-archetype. Модель ориентирована на эффективную генерацию фотографических изображений: природных сцен, людей, предметов и мест. В репозитории есть денойзер на основе flow matching, токенизатор и веса SmolLM2-360M для текстового кондиционирования; для декодирования изображений используется VAE DINAC-AE-D2. Модель содержит 2 млрд параметров и распространяется в формате safetensors, основные веса чекпойнта хранятся в bfloat16. Canter можно использовать для генерации изображений по текстовым описаниям через Python API, веб-интерфейс Gradio или узлы ComfyUI. README называет текущий чекпойнт предварительным выпуском и предупреждает, что модель всё ещё обучается, поведение и чекпойнты могут меняться, а качество генерации пока нестабильно. Веса, архитектура, код и документация распространяются по лицензии ModelGo Attribution-ShareAlike License 2.0 с требованиями атрибуции, раскрытия исходного кода и share-alike; включённая часть SmolLM2 лицензирована Apache 2.0, а VAE — по лицензии его репозитория.
Это контрольные веса для генерации изображений на базе FLUX.1-dev, опубликованные Sayak Paul. Модель обучена с новым типом conditioning на датасете instruction-tuning-sd/cartoonization и предназначена для превращения входного изображения в мультяшную версию по текстовому запросу. Модель использует архитектуру FLUX и распространяется в формате safetensors для библиотеки Diffusers. В карточке не указаны размер весов, длина контекста и конкретные языки. Лицензия обозначена как other; условия её использования следует проверять в репозитории. Карточка не содержит примеров ограничений или смещений, а раздел об этом оставлен незаполненным.
cetusmix_v4 — модель генерации изображений по текстовому описанию, опубликованная пользователем redstonehero на Hugging Face. Репозиторий использует Diffusers и StableDiffusionPipeline; карточка показывает пример создания изображения из текстового промпта. Модель предназначена для генерации изображений по текстовым запросам в приложениях и средах, совместимых с Diffusers. Репозиторий распространяется по лицензии creativeml-openrail-m. Карточка модели не содержит описания архитектурных деталей, размера, контекста, языков или специальных ограничений.
Chipoint — модель геолокации изображений с открытыми весами от chiikabu labs. Она извлекает визуальные признаки и предназначена для определения географического положения по фотографии; карточка сообщает о тестировании на наборе OSV-5M из 210 122 изображений и медианной ошибке 51 км. В README заявлены результаты выше опубликованных моделей на OSV-5M, однако приведённая таблица неполная, а сравнение административной точности основано на приблизительном обратном геокодировании. В метаданных указаны архитектура семейства Chipoint, формат PyTorch и слияние нескольких визуальных моделей, включая DINOv3 ViT-L и SigLIP2. Лицензия CC BY-NC 4.0 разрешает использование с ограничениями на коммерческое применение. README отмечает, что результаты для других бенчмарков недоступны, поэтому качество вне OSV-5M по карточке оценить нельзя.
recoilme/ColorfulSSD-1B_v07 — модель генерации изображений по текстовому описанию, дообученная на наборе recoilme/colorful_s_1024 на основе ColorfulSSD-1B_v06. Она предназначена для создания изображений по промптам; в карточке показан пример с женщиной и кошкой в фотореалистичном стиле и мягком освещении. Модель использует конвейер Stable Diffusion XL и распространяется в формате Diffusers с весами safetensors. Для обучения применялась VAE madebyollin/sdxl-vae-fp16-fix. Лицензия — CreativeML OpenRAIL-M.
emilianJR/CyberRealistic_V3 — версия модели Stable Diffusion в формате Diffusers, предназначенная для генерации изображений по текстовым запросам. Карточка предлагает загружать её через StableDiffusionPipeline из библиотеки diffusers и использовать как обычный чекпойнт Stable Diffusion. Модель принимает текстовый промпт и создаёт изображение. Репозиторий создан 24 мая 2023 года; файлы представлены в форматах Diffusers и PyTorch. Лицензия — CreativeML OpenRAIL-M, условия которой следует учитывать при использовании и распространении результатов. В карточке не приведены сведения о размере модели, длине контекста и специальных ограничениях генерации. Качество результата зависит от формулировки промпта и параметров генерации.
Dreamlike PhotoReal 2 — модель генерации изображений по текстовому описанию в формате Diffusers, опубликованная Yntec. В README указано, что в веса встроен VAE 840K, предназначенный для улучшения глаз и детализации. Примеры охватывают фотореалистичные портреты, городские сцены, ретрофутуристические изображения и стилизованные иллюстрации. Модель принимает текстовые запросы и создаёт изображения; в метаданных для неё указаны библиотека Diffusers, форматы Diffusers и safetensors, а также английский язык. Лицензия обозначена как other; README направляет читателя к лицензии на исходной странице, поэтому условия использования следует сверить там.
jzli/DreamShaper-8 — модель генерации изображений по текстовому описанию в формате Diffusers, совместимая со StableDiffusionPipeline. Карточка сообщает о возможности запускать её бесплатно и получать доступ через API. Модель предназначена для создания изображений по текстовым запросам. В доступных сведениях не приведены разработчик, базовая модель, число параметров, контекст и поддерживаемые языки; поэтому эти характеристики не указаны. Репозиторий содержит файлы Diffusers, PyTorch и SafeTensors. Лицензия в предоставленных данных не указана.
Это версия DreamShaper-XL-Lightning, подготовленная HelloSun для запуска через OpenVINO на CPU. Модель основана на Lykon/dreamshaper-xl-lightning — дообученной на SDXL модели, дистиллированной для генерации за четыре шага; в этой публикации веса переведены в формат OpenVINO и сжаты до INT4 с помощью NNCF. README указывает размер весов около 2,06 ГБ против примерно 6,5 ГБ у исходной FP16-экспортированной версии. Модель предназначена для создания изображений по текстовым описаниям, включая художественные, аниме, 3D и фотографические стили. Заявлена генерация изображений 1024×1024 на CPU; пример измерения на сервере с 192 vCPU занимает в среднем около 15 секунд на изображение, но скорость зависит от оборудования. Для работы рекомендованы четыре шага и guidance scale 2.0. Ограничения включают более долгую загрузку и компиляцию при первом запуске, меньшую скорость на обычных настольных процессорах и небольшие отличия результата от FP16 из-за INT4-квантования. Формат репозитория ориентирован на OpenVINO и CPU. Лицензия — OpenRAIL++; необходимо соблюдать также условия исходной модели и политики OpenRAIL++.