I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельCogVLM-base-490-hf — открытая визуально-языковая модель семейства CogVLM, опубликованная zai-org. Репозиторий содержит вариант на 6,6 млрд параметров с архитектурой CogVLMForCausalLM и весами в формате safetensors; модель рассчитана на контекст до 2048 токенов. В README описано семейство CogVLM как модель для диалога по изображениям и задач визуального понимания, включая ответы на вопросы, описание изображений и визуальную локализацию. Архитектура семейства объединяет энкодер ViT, MLP-адаптер, предварительно обученную языковую модель GPT и модуль visual expert. README приводит сильные результаты семейства CogVLM-17B на ряде кросс-модальных бенчмарков, но не утверждает, что данный вариант 6,6B имеет те же результаты. Карточка не раскрывает конкретные ограничения этой версии. Лицензия — Apache-2.0.
ComradeshipXL-v14VT — версия SDXL Hyper модели Comradeship XL v14V от hanzogak для генерации изображений по текстовому описанию. Автор рекомендует использовать 6–15 шагов генерации и CFG 1.0; в примере с Diffusers изображение создаётся за 8 шагов с планировщиком Euler Ancestral и разрешением 832 × 1216 пикселей. Модель распространяется в форматах Diffusers и Safetensors под лицензией other; условия этой лицензии следует уточнить перед использованием.
Counterfeit-v30 — модель генерации изображений по текстовому описанию, опубликованная stablediffusionapi и доступная через ModelsLab API. Пример в карточке показывает генерацию портретов в аниме и цифровом художественном стиле с настройкой отрицательного промпта, размера изображения, числа шагов и guidance scale. Метаданные указывают на задачу text-to-image и формат Diffusers/PyTorch; лицензия — CreativeML OpenRAIL-M. Пример API использует изображения 512×512 и 30 шагов генерации. Карточка не раскрывает базовую модель, число параметров или контекст.
dark-sushi-mix — модель генерации изображений по текстовому описанию, опубликованная в пространстве stablediffusionapi и доступная через ModelsLab. Карточка демонстрирует вызов API с параметрами промпта, негативного промпта, размера изображения, числа шагов и guidance scale; примеры ориентированы на портреты в реалистичном и аниме-стиле. В метаданных указаны StableDiffusionPipeline и форматы Diffusers и PyTorch. Для генерации можно передать текстовый промпт и настройки изображения; пример использует разрешение 512×512 и 30 шагов. Модель рассчитана на сценарий text-to-image и может вызываться через сервис ModelsLab. Лицензия — CreativeML OpenRAIL-M. Карточка не сообщает базовую модель, объём параметров или длину контекста.
Yntec/DeliberateRemix — модель генерации изображений по текстовому описанию, созданная автором Yntec как ремикс на базе Yntec/Deliberate. В карточке указаны варианты DeliberateRemix и Deliberate Hot; основной вариант получен смешиванием моделей, а Deliberate Hot — случайно выбранным методом Weighted Sum. Модель предназначена для создания иллюстраций и изображений по текстовым промптам. Примеры и теги указывают на аниме, художественные изображения и фотореалистичные сюжеты; автор описывает результат основного ремикса как более тёплый по характеру. Используется через Diffusers и StableDiffusionPipeline. Модель распространяется по лицензии CC BY-NC-ND 4.0, которая ограничивает коммерческое использование и распространение производных версий. Размер, контекстное окно и перечень поддерживаемых языков в предоставленных данных не указаны.
FFUSION Ai Beta512 — модель генерации изображений по текстовому описанию, разработанная Idle Stoev, Source Code Bulgaria, Praesidium CX и BlackSwan Technologies. Это модель диффузии в латентном пространстве на основе Stable Diffusion 2.1 512; используется фиксированный текстовый энкодер OpenCLIP-ViT/H. Репозиторий предоставляет веса в форматах Diffusers, PyTorch и SafeTensors. Модель предназначена для создания художественных изображений и экспериментов с сочетаниями промптов. Разработчики отмечают, что эта бета обучена на части заявленного набора изображений и лучше работает примерно при разрешении до 600–700 пикселей. Качество генерации некоторых объектов и лиц ещё дорабатывается; увеличение разрешения рекомендуется выполнять отдельно. Модель ориентирована на английские текстовые запросы. Лицензия в метаданных указана как CreativeML OpenRAIL-M; README называет её CreativeML Open RAIL++-M и перечисляет ограничения на вредоносное, дискриминационное, несанкционированное и незаконное использование.
Dreamshaper XL Lightning — модель генерации изображений по текстовому описанию, опубликованная пользователем oguzm. Это копия или вариант модели lykon/dreamshaper-xl-lightning, дообученной на stabilityai/stable-diffusion-xl-base-1.0. Модель основана на Stable Diffusion XL и предназначена для создания художественных изображений по промптам; в метаданных также отмечены стили anime, art и режимы turbo и LCM. Репозиторий содержит веса в форматах Diffusers и safetensors. Для использования автор README приводит пример с библиотекой Diffusers. Карточка указывает лицензию OpenRAIL++; применяйте модель с учётом её условий. README не описывает отдельные ограничения качества или рекомендуемые настройки генерации.
Experience — модель генерации изображений по текстовому описанию, опубликованная пользователем nDimensional. Она предназначена для создания реалистичных изображений по промптам и может использоваться в интерфейсе Automatic1111-webui. В карточке модели указаны библиотека Diffusers и связь с семейством Stable Diffusion 1.5; файлы представлены в форматах PyTorch и Safetensors. Модель ориентирована на художественную генерацию изображений. README предлагает смотреть изображения из папки Images как примеры промптов, но подробности архитектуры, размер и параметры генерации не описывает. Лицензия — CreativeML OpenRAIL-M; перед использованием следует учитывать её условия и ограничения на распространение и применение.
ExpMix — модель генерации изображений по текстовому описанию, опубликованная AIARTCHAN в формате Diffusers для использования с библиотекой Diffusers. README упоминает исходную версию размером 7,7 ГБ и облегченную версию с точностью fp16 размером 2,13 ГБ. Метаданные относят модель к Stable Diffusion; в README также указана ссылка на Civitai. Модель предназначена для создания изображений по текстовым запросам. Лицензия указана как other, поэтому условия использования следует проверять в исходном источнике модели.
Fluently-XL-v2 — дообученная модель Fluently для генерации изображений по текстовым запросам. Она основана на Stable Diffusion XL Base 1.0 и распространяется в форматах Diffusers и SafeTensors; для запуска автор рекомендует Automatic1111 или ComfyUI, 20–35 шагов сэмплирования, сэмплер Euler a или Euler и CFG Scale 4–6,5. Модель предназначена для создания изображений, сочетая художественную стилизацию и реалистичность. В карточке заявлены внимание к анатомии, лицам, природе и управлению контрастом. Обучение проводилось на изображениях из наборов Midjourney, DALL·E 3 и Fav Images. Лицензия указана как other, поэтому условия использования следует сверить с файлами репозитория. Карточка не приводит количественных оценок качества или подробных ограничений по содержанию и применению.
FuzzyHazel — модель генерации изображений по текстовому запросу из семейства Stable Diffusion, опубликованная Lucetepolis. Репозиторий содержит веса в формате safetensors и примеры использования с настройками генерации; в карточке также перечислены совместимые LoRA и EasyNegative. Модель предназначена для создания изображений по текстовым промптам. В примерах указаны разрешение 768×512, 28 шагов сэмплирования, DPM++ 2M Karras, CFG 7 и Clip skip 2. README не сообщает размер модели, базовый чекпойнт и поддерживаемые языки. Модель распространяется по лицензии CreativeML OpenRAIL-M.
Salesforce разработала InstructBLIP с языковой моделью Flan-T5-xl. Это модель компьютерного зрения и языка, представляющая собой вариант BLIP-2, дообученный следовать инструкциям о визуальном содержимом. Она принимает изображение и текстовый запрос и формирует текстовый ответ, например описание или ответ на вопрос об изображении. Модель предназначена для задач image-text-to-text; в карточке указана поддержка английского языка. Модель выпущена в рамках исследовательской работы InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning. Репозиторий содержит веса PyTorch и Safetensors и распространяется по лицензии MIT. Авторы не оценивали модель для всех сценариев применения; перед использованием следует проверять точность и учитывать риски ошибок, безопасности и предвзятости.
Salesforce/instructblip-flan-t5-xxl — мультимодальная модель InstructBLIP, разработанная Salesforce и представленная в исследовании Dai и соавторов. Она сочетает визуальную часть BLIP-2 с языковой моделью Flan-T5-xxl и настроена следовать инструкциям о содержимом изображения. Модель принимает изображение вместе с текстовым запросом и формирует текстовый ответ, например описание или ответ на вопрос об изображении. Модель подходит для визуальных вопросов и ответов, описания изображений и других сценариев взаимодействия с изображением на естественном языке. В метаданных указан английский язык. Весовые файлы доступны в форматах PyTorch и Safetensors; лицензия — MIT. Авторы рекомендуют оценивать точность, безопасность и справедливость модели перед применением: она не оценивалась для всех возможных сценариев, а ошибки особенно важны в высокорисковых областях.
LusterMix v1.5 — модель генерации изображений по текстовому описанию, опубликованная пользователем digiplay. Репозиторий содержит веса в формате Diffusers, PyTorch и safetensors; карточка относит модель к семейству Stable Diffusion. Модель предназначена для создания изображений по текстовым запросам. В README приведены примеры изображений, однако подробности об обучении и специфических художественных возможностях не описаны. Указана лицензия other, поэтому условия использования следует проверять в исходной карточке модели.
MeinaMix — модель генерации изображений по текстовому описанию, опубликованная Stable Diffusion API и доступная через ModelsLab. Она предназначена для создания портретов и иллюстраций, включая изображения с аниме-чертами, концепт-арт и цифровую живопись. В примере API указаны параметры ширины и высоты изображения, число шагов генерации, guidance scale, негативный промпт и настройки улучшения промпта; пример использует разрешение 512 × 512 и 30 шагов. Модель распространяется в форматах Diffusers и PyTorch и использует лицензию CreativeML OpenRAIL-M. Пример показывает генерацию изображений, но не описывает архитектуру, число параметров или поддерживаемые языки. Качество результата зависит от промпта и параметров генерации; в примере предусмотрены негативный промпт и отключаемый safety checker.
Incursio's Meme Diffusion 1.6 — модель генерации изображений по текстовому описанию, созданная объединением весов модели incursiosMeme_v16NonPruned.safetensors с настройками AnythingV4. Она предназначена для создания стилизованных иллюстраций, в том числе чиби-персонажей и аниме-образов; пример в карточке показывает подробный художественный промпт с элементами цифровой живописи и концепт-арта. Модель опубликована в формате Diffusers и Safetensors и использует лицензию CreativeML OpenRAIL-M. Подробности о размере, контексте и поддерживаемых языках карточка не приводит.
MiniMax-H3-MLX-f32 — сборка модели MiniMax H3 для MLX на Apple Silicon, подготовленная автором репозитория pipenetwork. Это диффузионный трансформер для совместной генерации видео и синхронизированного с ним аудио. Модель не является языковой: видеолатенты и аудиолатенты обрабатываются совместно, а замороженный энкодер Qwen3-VL-32B и отдельные VAE для видео и аудио загружаются из исходного выпуска MiniMax; в репозитории находятся только веса трансформера. Веса преобразованы в формат MLX и расширены до float32 из исходной точности bfloat16. Это lossless-преобразование без дополнительной информации или точности, предназначенное прежде всего для дообучения в float32 и численных экспериментов; для генерации автор рекомендует вариант bf16. Метаданные указывают 23,1 млрд параметров, тогда как README описывает базовую архитектуру как 33B. Модель создаёт видео и аудио по текстовым условиям; базовая MiniMax H3 также принимает изображения, видео и аудио. Работа требует кода пайплайна и компонентов из upstream-выпуска. Сборка рассчитана на Apple Silicon и MLX, занимает около 132,5 ГБ на диске и требует значительной памяти при генерации. Плотное внимание делает генерацию медленной, а квантизация лишь умеренно ускоряет её. Лицензия указана как other; конкретные условия использования в предоставленных сведениях не раскрыты.
Карточка модели Shishir1996/Minimax-H3-T2VA-Veda-8NFE-600Step-Preview на Hugging Face совпадает с карточкой Veda-Sparse/Minimax-H3-T2VA-Veda-8NFE-600Step-Preview, поэтому описание составлено по ней. Veda-Sparse — обученный разреженный предсказатель внимания для MiniMax-H3, разработанный проектом Veda. Он ускоряет генерацию видео со звуком, выбирая наиболее важные блоки внимания: в описанном режиме сохраняется 10% внимания, а остальное пропускается. Предсказатель не меняет веса и стиль базовой модели и совместим с LoRA и дообученными вариантами MiniMax-H3. Контрольная точка обучена и оценена с MiniMax-H3-Turbo-Lora для генерации за 8 шагов. В README заявлены ускорение вычисления внимания до 6,8 раза и ускорение генерации целиком до 3,1 раза при качестве изображения и звука на уровне полного внимания; результаты зависят от GPU и длины ролика. Модель предназначена для конвейера text-to-video на базе Miowtion и требует соответствующего программного обеспечения и GPU. Лицензия указана как other, поэтому перед использованием следует проверить её условия.
MiniMax-H3 Turbo LoRAs for ComfyUI — это набор адаптеров LoRA для базовой модели Comfy-Org/MiniMax-H3, опубликованный в репозитории Halpak. Адаптеры основаны на официальных весах lightx2v/Minimax-h3-Turbo и совместимых конверсиях Turbo LoRA от larryvrh. Модель предназначена для ускоренной генерации видео и синхронизированного аудио в ComfyUI, включая сценарии FL2V и reference-to-video. В набор входят варианты для генерации за 4 или 8 шагов, в том числе версии для 768p, а также варианты с динамически изменяемым рангом. Адаптеры сохранены в формате safetensors с BF16-тензорами и используют сжатие факторов LoRA методом компактного SVD на уровне отдельных проекций attention, MLP и token-refiner. Средний ранг отдельных вариантов составляет около 21,7, 28,5 или 64,5; заявлены варианты размером примерно от 284 до 892 MiB. Для Ref2V указано глобальное косинусное сходство 99,919% с исходными обновлениями весов, однако эти метрики отражают реконструкцию весов, а не perceptual качество видео. Сильные стороны адаптеров — существенное сокращение числа sampling-шагов, поддержка видео- и аудиогенерации MiniMax-H3, совместимость с ComfyUI и уменьшение размера исходных LoRA за счёт динамического ранжирования. Ограничения заключаются в том, что это не самостоятельная модель, а адаптеры, требующие базовой MiniMax-H3 и соответствующего окружения ComfyUI; снижение ранга может приводить к потере точности, особенно в компактных вариантах. Лицензия указана как Apache-2.0.
Naturitize Image Pack — дообученная модель для Stable Diffusion 2.1, опубликованная под именем plasmo. Она предназначена для генерации изображений по текстовым запросам в разрешении 768 пикселей и добавляет к базовой модели стиль с природными, землистыми текстурами. Для активации эффекта автор рекомендует начинать запрос со слова «naturitize»; также можно сочетать модель с embeddings. Для работы требуется Stable Diffusion 2.1 и файл naturitize-SD2.1-768px.yaml рядом с файлами модели. Модель обучена на 112 изображениях с разрешением 768 пикселей в течение 8000 шагов, включая 500 шагов обучения текстового энкодера. Файлы доступны в форматах Diffusers и PyTorch; лицензия — CreativeML Open RAIL-M.
NaughtyChildren — смешанная модель генерации изображений, созданная объединением ChildrenStoriesCustom от Zovya и EdgeOfRealism от AreThoseLevel4Plates. В README автор описывает улучшение фонов первой исходной модели и лиц второй; в репозитории указаны форматы Diffusers, PyTorch и Safetensors, а также встроенный zVAE. Модель предназначена для создания изображений по текстовым запросам, в том числе детализированных фотореалистичных портретов и иллюстраций на тему детских историй. Для запуска используется библиотека Diffusers и StableDiffusionPipeline. Репозиторий опубликован по лицензии CreativeML Open RAIL-M. Размер модели и длина контекста в предоставленных данных не указаны.
Yntec публикует nuipenimix 2 — модель Stable Diffusion для генерации изображений по текстовым описаниям. Она предназначена для создания иллюстраций, в том числе милых животных в стилизованном оформлении; в карточке приведён пример изображения красной панды в круглой рамке на фиолетовом фоне. Модель распространяется в формате Diffusers и весах safetensors в точности fp16; указана версия без EMA. Лицензия — CreativeML OpenRAIL-M.
OpenDalle — модель генерации изображений по текстовому описанию, опубликованная Alexander Izquierdo. Она создана слиянием DPO-модели с Juggernaut7XL, ALBEDOXL, MEARGEHEAVEN и собственной моделью автора; репозиторий использует Diffusers и веса Safetensors. Модель ориентирована на точное следование смыслу и деталям промпта, а не на максимальную фотореалистичность или сверхвысокую детализацию. Автор отмечает улучшенное понимание запросов по сравнению с базовой SDXL и приводит рекомендуемые настройки генерации: CFG 7–8, 35–70 шагов и сэмплер DPM2. Модель принимает текстовые промпты и генерирует изображения. В карточке есть пример стилизованной иллюстрации в эстетике манги 1990-х. Лицензия CC BY-NC-ND 4.0 в метаданных; README дополнительно содержит соглашение автора, разрешающее личное некоммерческое использование и запрещающее распространение и публичное использование производных работ без письменного согласия. Эти условия ограничивают коммерческое применение.
Open Niji Remix — модель генерации изображений по текстовому описанию, созданная автором Yntec путём слияния моделей OpenNiji и OpenNiji-V2. Она предназначена для создания стилизованных изображений, в том числе иллюстраций и арта в эстетике Nijijourney; примеры запросов охватывают чиби-персонажей, рекламную живопись и сочетание стилизованной и фотореалистичной подачи. Модель доступна в формате Diffusers с весами PyTorch/Safetensors и работает через StableDiffusionPipeline. В README указано, что в неё встроен VAE MoistMixV2VAE. Лицензия — CreativeML OpenRAIL-M.
Модель alibaba-pai/pai-bloom-1b1-text2prompt-sd разработана командой Alibaba PAI и предназначена для автоматического улучшения коротких текстовых запросов для генерации изображений. Она принимает простой промпт и формирует более подробный англоязычный запрос с описанием композиции, стиля, освещения и визуальных деталей, который можно использовать в генераторах изображений, например Stable Diffusion. Модель построена на архитектуре BLOOM, содержит 1,3 млрд параметров и работает с текстом на входе и выходе. Модель опубликована в форматах PyTorch и Safetensors. В карточке указана лицензия Apache-2.0, однако README также требует соблюдать отдельные специальные условия для открытых AIGC-моделей; перед использованием следует ознакомиться с ними. Примеры показывают ориентацию на создание выразительных художественных промптов, но не содержат количественной оценки качества или сведений о поддерживаемых языках.
Pony Realism v2.2 Main + VAE — реалистичный чекпойнт для генерации изображений по текстовому описанию, созданный ZyloO на базе Pony. Автор сообщает об улучшениях освещения, ночных сцен, рук и ног, цветопередачи, лиц, кожи, детализации и понимания запросов; также обновлена VAE. Модель рассчитана на генерацию изображений высокого разрешения, поддерживает стиль промптов с тегами Danbooru и лучше всего работает с рекомендованными автором семплерами, включая Euler A и DPM++. Файлы представлены в формате Diffusers с весами Safetensors. Лицензия в предоставленных данных не указана.
Это LoRA-модель pulid-sdxl-i.6, разработчик которой в представленных данных не указан. Модель предназначена для генерации изображений по текстовому описанию и совместима с базовой моделью stabilityai/stable-diffusion-xl-base-1.0. В README приведены примеры генерации изображений женщин по запросу beautiful-women с негативным запросом ugly. Известно, что модель распространяется в формате Safetensors и предназначена для использования в экосистеме Diffusers. Архитектурные детали, размер, поддерживаемые языки, максимальный контекст, модальности помимо text-to-image, сильные стороны и ограничения не указаны. Информация о лицензии также отсутствует, поэтому условия использования по представленным данным определить нельзя.
Radiant Vibes — модель генерации изображений по текстовому описанию, опубликованная Yntec. Карточка содержит версии весов FP16 и FP32 и пример запроса для создания стилизованной иллюстрации персонажа с детализированными материалами, выразительным освещением и художественной манерой. Модель распространяется в форматах Diffusers, PyTorch и Safetensors; в тегах указано семейство Stable Diffusion. Модель предназначена для создания художественных изображений, включая фэнтези, иллюстрации и пейзажи. Репозиторий использует библиотеку Diffusers и лицензию CreativeML OpenRAIL-M. Сведений о размере модели, длине контекста и точных языковых возможностях карточка не приводит.
Rainbowpatch — модель генерации изображений по текстовому описанию в экосистеме Stable Diffusion. Её разработал Patchmonk; README рекомендует добавлять слово «Rainbowpatch» в запрос, чтобы усилить характерный стиль модели. Модель предназначена для создания изображений по текстовым промптам. Она распространяется в форматах Diffusers, PyTorch и Safetensors и использует лицензию CreativeML OpenRAIL-M. README не приводит сведений о размере модели, контексте или конкретных языках промптов.
RealCore XL 1.0 — модель генерации изображений на основе Stable Diffusion XL, опубликованная rityak. Это объединённый чекпойнт, созданный из нескольких моделей и LoRA, включая модели для реалистичной и аниме-генерации; исходный рецепт слияния утерян. Модель предназначена для генерации реалистичных изображений и снимков в любительском фото-стиле по текстовым запросам. Автор отмечает высокую детализацию, совместимость с ускорением LCM и возможность использования в ComfyUI. Поддерживается генерация контента для взрослых, поэтому модель подходит и для NSFW-сценариев. Чекпойнт распространяется в формате Safetensors и использует лицензию OpenRAIL++. Карточка не приводит размер модели, длину контекста или список языков запросов; метаданные указывают английский язык карточки. Утерянный рецепт слияния ограничивает воспроизводимость и точное выяснение вклада отдельных компонентов.