I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельepiCRealism-NaturalSin — модель генерации изображений по текстовому описанию, опубликованная TheImposterImposters. Она реализована как StableDiffusionPipeline и распространяется в формате safetensors через Hugging Face и Diffusers. Репозиторий содержит компоненты полноценного диффузионного пайплайна, включая U-Net, VAE, текстовый энкодер, токенизатор, планировщик и safety checker.
FLUX.1 Krea [dev] — модель генерации изображений по тексту, разработанная Black Forest Labs совместно с Krea и опубликованная на Hugging Face в виде зеркала Unsloth с неизменёнными весами. Модель содержит 12 млрд параметров и использует архитектуру rectified flow transformer; она дообучена на основе black-forest-labs/FLUX.1-dev и поддерживает работу через Diffusers. Модель предназначена для создания изображений по текстовым описаниям, с акцентом на эстетичную фотографию и следование запросу. Обучение с дистилляцией guidance повышает эффективность генерации. В карточке перечислены английский язык и задача text-to-image. Модель может не точно следовать запросу, а результат зависит от стиля формулировки промпта. Она не предназначена для предоставления фактической информации и может усиливать общественные предубеждения. Лицензия — FLUX.1 [dev] Non-Commercial License; в README также сказано, что разрешённое использование сгенерированных результатов включает личные, научные и коммерческие цели при соблюдении условий лицензии.
Flux.1-Krea-Merged-Dev — модель генерации изображений из текста, созданная prithivMLmods путём объединения параметров black-forest-labs/FLUX.1-dev и black-forest-labs/FLUX.1-Krea-dev. Она построена на архитектуре rectified flow transformer и предназначена для творческих рабочих процессов, где важны следование текстовому запросу, визуальное качество, эстетика и фотореализм. В README приведены примеры генерации по текстовым описаниям; для работы предлагается библиотека Diffusers и конвейер FluxPipeline. Модель принимает текстовые запросы и создаёт изображения. В карточке заявлено объединение характеристик двух базовых моделей; в примерах указано 28 шагов генерации. FLUX.1-dev описана как модель на 12 млрд параметров. Лицензия репозитория обозначена как other, поэтому условия использования следует сверять с лицензиями исходных моделей и условиями карточки репозитория.
FLUX.1-schnell-gguf — это квантованная версия модели FLUX.1-schnell, разработанной Black Forest Labs и распространяемой в формате GGUF. Модель предназначена для генерации изображений по текстовому описанию и относится к сценариям text-to-image и image generation. В карточке указано, что это зеркало базовой модели black-forest-labs/FLUX.1-schnell, квантование выполнено city96. Сведения об архитектуре, размере, поддерживаемых языках и максимальном контексте не приведены, поэтому оценить эти характеристики и ограничения по имеющимся данным нельзя. Модель распространяется по лицензии Apache-2.0. README не содержит дополнительных сведений о требованиях к оборудованию, производительности, качестве генерации или специальных ограничениях использования.
Это 4-битная квантизированная версия FLUX.2 [dev] от Black Forest Labs, подготовленная INCModel3 с помощью AutoRound и округления к ближайшему значению (RTN). Модель предназначена для генерации изображений по текстовым описаниям; README также сообщает о совместимости экспорта с vLLM-Omni. Квантизация MXFP4 использует групповой размер 32 и, согласно карточке, уменьшает размер модели примерно со 110 до 62 ГБ по сравнению с bf16. В описанной оценке на изображениях 1024×1024 с 28 шагами показатели DrawBench и GenEval близки к bf16-версии. Для запуска в README приведён пример с vLLM-Omni. Лицензия в метаданных обозначена как other; конкретные условия следует проверять на странице модели и базовой модели.
eramth/flux-4bit — версия FLUX.1-dev для генерации изображений по текстовым описаниям. Репозиторий содержит NF4-квантованный трансформер и T5-энкодер и использует библиотеку Diffusers; базовая модель разработана Black Forest Labs. Модель предназначена для создания изображений по текстовым запросам. Для загрузки README указывает установить bitsandbytes. В метаданных указаны лицензия other и форматы Diffusers и safetensors. Сведений о размере модели, поддерживаемых языках и длине контекста в доступных данных нет.
GIT-base — базовая по размеру модель GenerativeImage2Text, разработанная Microsoft и представленная в статье Wang et al. Это декодер Transformer, который получает визуальные токены изображения от CLIP и предыдущие текстовые токены, а затем генерирует текст. Модель содержит 80,1 млн параметров, использует архитектуру GitForCausalLM и обучена на 10 млн пар изображение—текст. Модель предназначена прежде всего для создания подписей к изображениям. Архитектура также позволяет применять её для визуальных вопросов и ответов по изображениям и видео, описания видео и классификации изображений с выдачей класса текстом. В метаданных указана поддержка английского языка и контекст 1024 токена. GIT-base принимает изображение и выдаёт текст; для задач, требующих специализированного качества, подходят дообученные версии. Карточка не приводит оценки качества, а результат генерации зависит от изображения и формулировки запроса. Модель распространяется по лицензии MIT.
GOLDFish — модель генерации изображений по текстовому описанию, созданная как смесь OLDFIsh от timevisitor и RMHF_2.5D_v2 от TkskKurumi. Она предназначена для создания изображений по запросам пользователя; в метаданных указаны Stable Diffusion и библиотека Diffusers, а файлы представлены в форматах Diffusers, PyTorch и safetensors. Модель распространяется по лицензии CreativeML OpenRAIL-M.
HunyuanVideo-1.5-Diffusers-480p_t2v — модель генерации видео из текстовых запросов в формате Diffusers, опубликованная сообществом hunyuanvideo-community. Она предназначена для создания видео по текстовому описанию; карточка указывает вариант 480p и задачу text-to-video. Модель использует attention masks для последовательностей переменной длины. Для повышения производительности рекомендуется backend внимания с эффективной обработкой padding и установка пакета kernels для доступа к готовым ядрам; инференс возможен и с backend по умолчанию. Файлы представлены в форматах Diffusers и safetensors. Лицензия указана как other, поэтому условия использования следует уточнить в сопровождающих документах репозитория.
Это исправленная версия чекпойнта трансформера HY-OmniWeaving для рабочих процессов HunyuanVideo 1.5, опубликованная автором репозитория Shiba-2-shiba. В FP8-чекпойнте заменены два обнулённых тензора слоя `mm_in.linear_2` — веса и смещение — значениями из обновлённой базовой модели. Это точечный перенос тензоров, а не дообучение; файл сохранён в формате safetensors и предназначен для использования вместо исходного FP8-чекпойнта, в том числе в ComfyUI. Модель применяется для генерации видео по тексту и изображениям. Базовая HY-OmniWeaving от Tencent поддерживает мультимодальную генерацию и редактирование видео по тексту, изображениям и видеокадрам; для этой версии карточка указывает задачу image-text-to-video. Исправление восстанавливает неактивный коннектор, но автор не заявляет, что оно устраняет все проблемы качества или соответствия исходной модели. Условия использования определяются лицензией и требованиями к атрибуции исходной модели Tencent/HY-OmniWeaving; отдельная лицензия в карточке исправленной версии не приведена.
Ideogram4 GGUF — это набор квантованных файлов модели для генерации изображений по текстовому описанию. Файлы подготовлены leejet на основе моделей Ideogram4 от Ideogram AI и преобразованы с использованием stable-diffusion.cpp. Модель предназначена для локального запуска через stable-diffusion.cpp и сценариев text-to-image, включая создание изображений с детализированными композициями, заданным стилем и текстовыми надписями внутри изображения. В репозитории представлены файлы в формате GGUF; конкретный размер, архитектура, объём контекста и параметры квантования зависят от выбранного файла. В качестве языков заявлены английский и китайский. Для работы используются дополнительные компоненты, включая языковую модель Qwen3VL-8B-Instruct и VAE, а также поддерживается генерация изображений разрешением 1024×1024 в приведённом примере. Сильными сторонами являются локальный запуск и совместимость с stable-diffusion.cpp, а ограничениями — необходимость совместимых компонентов и отсутствие в README подробных характеристик качества, производительности и требований к оборудованию. Лицензия квантованных файлов следует лицензии исходной модели Ideogram4; её точные условия указаны в LICENSE.md оригинальной модели.
InternLM-XComposer2-VL-7B — модель компьютерного зрения и языка из семейства InternLM-XComposer2, разработанная командой InternLM. Она основана на InternLM2 и предназначена для понимания изображений и текста; модель выпускается как предварительно обученная мультимодальная версия, тогда как отдельная версия InternLM-XComposer2 дообучена для создания чередующихся текстовых и графических материалов. Модель содержит 7,4 млрд параметров, использует плотную архитектуру InternLMXComposer2ForCausalLM и поддерживает контекст до 32 768 токенов. Она принимает изображение и текстовый запрос, а отвечает текстом, что подходит для визуальных вопросов и описания содержимого изображений. В README приведён способ загрузки через Transformers; для экономии памяти рекомендуется float16. Указана лицензия «other», поэтому конкретные условия использования следует сверять с лицензией в репозитории.
SimianLuo/LCM_Dreamshaper_v7 — модель для генерации изображений по текстовому описанию, созданная методом дистилляции на основе Dreamshaper v7, дообученной версии Stable Diffusion 1.5. В README указано, что дистилляция заняла 4 000 итераций, около 32 часов на A100. Модель предназначена для быстрого вывода: в неё перенесено руководство classifier-free guidance, чтобы получать изображения за короткое время инференса. Модель рассчитана на генерацию изображений из англоязычных текстовых запросов и распространяется в форматах Diffusers, ONNX и Safetensors. Лицензия — MIT. Карточка не сообщает ограничений по разрешению или подробных требований к аппаратному обеспечению.
Longcat-Image-Turbo — модель генерации изображений по текстовому описанию, опубликованная пользователем byliutao. Это версия Longcat-Image, дистиллированная методом Continuous-Time Distribution Matching (CDM) для генерации за малое число шагов диффузии; в README приведён пример примерно с четырьмя вычислениями модели (NFE). Репозиторий содержит веса в формате Diffusers и Safetensors, а метаданные указывают библиотеку Diffusers и лицензию MIT. Модель предназначена для быстрого преобразования текстовых запросов в изображения. CDM использует непрерывную оптимизацию и динамическое расписание времени для согласования текстовых условий и распределения изображений. README не приводит сведения о размере модели, поддерживаемых языках, разрешении или ограничениях качества; для запуска предлагается обратиться к репозиторию проекта.
SXZ Luma 0.98 VAE — модель семейства Stable Diffusion в формате Diffusers, опубликованная пользователем Yntec. Репозиторий содержит вариант fp16 без EMA; метаданные указывают задачу генерации изображений по текстовому запросу и файлы в форматах PyTorch и Safetensors. Модель предназначена для создания изображений по текстовым описаниям. Она распространяется по лицензии CreativeML OpenRAIL-M, условия которой регулируют допустимое использование и распространение модели и её результатов. Карточка сообщает о варианте VAE, но не приводит дополнительных сведений о его характеристиках или качестве.
Это производный чекпойнт MiniMax-H3, подготовленный xmarre для запуска в ComfyUI. Репозиторий содержит BF16-конверсию в один файл и варианты INT8, включая вариант ConvRot; заявленная задача модели — генерация видео по тексту и изображению. Веса происходят от MiniMaxAI/MiniMax-H3 через ветку Comfy-Org и промежуточный чекпойнт diffusers-modular/MiniMax-H3-Pruned-Ref-Delta-Fused-r1024. В конверсию входят структурные изменения для формата ComfyUI, а варианты INT8 квантизируют 150 или 200 тяжёлых линейных слоёв главного трансформера. Модель предназначена для создания коротких видеороликов в рабочих процессах ComfyUI. Для использования доступны файлы размером около 37,5 ГиБ в BF16 и около 21 ГБ в INT8. Автор сообщает об успешном запуске INT8 ConvRot на актуальной у него версии ComfyUI; варианты с сохранением fc2 в BF16 предлагаются как запасной вариант для сред, где квантизированный fc2 вызывает сбой или нехватку памяти. Лицензия в метаданных обозначена как other, поэтому условия использования следует уточнить в исходной лицензии репозитория.
argmaxinc/mlx-FLUX.1-schnell — версия модели генерации изображений FLUX.1 [schnell], подготовленная для MLX и распространяемая разработчиком argmaxinc. Она принимает текстовые запросы и создаёт изображения; карточка предлагает запуск через библиотеку DiffusionKit. Модель подходит для быстрого получения изображений по описаниям и локального использования на устройствах Apple с поддержкой MLX. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. В карточке не приведены сведения о размере модели, длине контекста и поддержке языков, поэтому эти характеристики здесь не уточняются.
NLLB-CLIP — мультиязычная модель сопоставления изображений и текста, разработанная Visheratin. Она объединяет текстовый энкодер NLLB с визуальным энкодером стандартного CLIP и предназначена для классификации изображений по текстовым описаниям без специального обучения на каждом наборе меток. Модель расширяет возможности CLIP на 201 язык набора FLORES-200 и хорошо работает с языками с ограниченными ресурсами. В карточке указано, что она достигла лучшего результата на Crossmodal-3600; конкретные показатели не приведены. Модель представлена в формате PyTorch и использует библиотеку open_clip. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель рассчитана на оценивание соответствия изображений текстовым меткам; карточка не описывает другие режимы работы.
Open Diffusion V3 (OD-v3) — модель генерации изображений по текстовому описанию, разработанная OpenSkyML и предназначенная для использования через Diffusers. Пользователь передаёт текстовый запрос, а модель выдаёт изображение; карточка приводит пример генерации сцены с астронавтом на лошади. В метаданных указаны форматы Diffusers, PyTorch и safetensors, а также языки en, fr и ru. Модель опубликована под лицензией CreativeML-OpenRAIL-M. Сведения о размере модели, длине контекста и конкретных ограничениях качества в карточке и метаданных отсутствуют.
ProteusV0.1 — модель генерации изображений по текстовому описанию от dataautogpt3, созданная на основе OpenDalleV1.1. Её дообучили примерно на 220 тысячах изображений с подписями GPTV, включая фотографии из стоков с открытой лицензией и часть аниме-изображений, а также применили оптимизацию предпочтений DPO на 10 тысячах пар изображений, созданных ИИ. Модель распространяется в формате Diffusers и поддерживает StableDiffusionXLPipeline. Модель предназначена для создания изображений по промптам в разных стилях, включая фотореализм, сюрреализм, аниме и мультфильмы. В карточке отмечены улучшенная отзывчивость к запросам, проработка черт лица и реалистичных текстур кожи. Для генерации автор рекомендует разрешение 1024×1024 или 1280×1280, 20–40 шагов, CFG 7–8 и сэмплер DPM++ 2M SDE с планировщиком Karras. Модель лицензирована по GPL-3.0. Качество результата зависит от формулировки запроса и настроек генерации; в README не приведены количественные результаты сравнительных оценок.
RationalRewards — модель оценки изображений, разработанная исследователями HKUST, Университета Ватерлоо и Alibaba. На основе Qwen3-VL-Instruct-8B она анализирует изображения, формирует многомерные критические замечания и выставляет оценки для задач генерации изображений по тексту и редактирования изображений. Модель предназначена для оценки соответствия изображения инструкции, визуального качества, композиции и правдоподобия. Её можно применять как источник структурированных сигналов вознаграждения при обучении генераторов с RL, а также для цикла Generate-Critique-Refine: критика результата используется для целевого уточнения промпта без изменения параметров генератора. В метаданных указаны архитектура Qwen3-VL, 8B-базовая модель Qwen3-8B, библиотека Transformers и формат safetensors; README описывает английский язык. В README сообщается о сильных результатах в прогнозировании предпочтений и улучшении генерации, но численные гарантии качества для конкретных задач не приводятся. Модель оценивает и критикует изображения, а не генерирует их самостоятельно. Лицензия — Apache-2.0.
emilianJR/RealisticVision_V2 — версия контрольной точки Stable Diffusion в формате Diffusers, предназначенная для генерации изображений по текстовому описанию. Карточка предлагает использовать её через StableDiffusionPipeline из библиотеки diffusers; в метаданных также указаны архитектура Stable Diffusion и формат PyTorch. Модель подходит для создания реалистичных изображений по текстовым запросам. В метаданных указан английский язык, лицензия CreativeML OpenRAIL-M. Размер модели и длина контекста в предоставленных сведениях не указаны.
Это репозиторий весов Sana 1600M в формате BF16 для генерации изображений по тексту через Diffusers; в названии также указана связка с ControlNet. Sana — семейство моделей, представленное разработчиками исходного проекта Sana. Карточка описывает систему генерации изображений высокого разрешения, а метаданные относят репозиторий к задаче text-to-image. Модель предназначена для создания изображений по текстовым запросам, включая изображения высокого разрешения. В README заявлены качество, соответствие изображения запросу, высокая скорость и возможность запуска на GPU ноутбука. Лицензия репозитория — MIT. В доступных материалах нет подтверждённых сведений о контекстном окне, поддерживаемых языках, точном назначении ControlNet-варианта или его требованиях к ресурсам.
SANA-Video 2.0 5B 720p — модель Efficient Large Model Team для генерации коротких видео из текстовых описаний и изображений. Это диффузионный трансформер SanaVideo2_5B с 4,47 млрд параметров, 32 слоями и скрытым размером 2560. Для текстового управления используется Gemma 2 2B IT, а видеокодирование опирается на VAE-контракт LTX 2.3. Модель рассчитана на видео 720p продолжительностью около восьми секунд; пример из карточки — 193 кадра при 24 кадрах в секунду и разрешении 1280 × 736. Модель поддерживает генерацию видео по тексту и по тексту с исходным изображением в качестве первого кадра. В архитектуре сочетаются двунаправленное линейное внимание с гейтами, периодические блоки плотного softmax-внимания и агрегация Attention Residual. Контрольная точка содержит объединённые веса; официальный сценарий инференса приводит трансформер к BF16. Для запуска в README указана поддержка в ветке main репозитория NVlabs/Sana. Модель подходит для творческой генерации коротких видеороликов, прототипирования сцен и исследовательской оценки генерации видео. Движение, анатомия, текст в кадре, постоянство объектов и физические взаимодействия могут быть непоследовательными; следование длинным и сложным запросам ухудшается, а при генерации с изображением возможен уход от его деталей. Модель не проверяет фактичность и безопасность результата. Лицензия — Apache License 2.0.
Scale-RAE — модель генерации изображений по текстовому запросу, разработанная исследовательской группой VISIONx Нью-Йоркского университета. Она объединяет языковую модель Qwen2.5-1.5B, диффузионный трансформер DiT размером 2,4 млрд параметров и декодер SigLIP-2; репозиторий проекта описывает обучение в два этапа, включая дообучение на наборах инструкций. Модель предназначена для создания изображений по текстовым описаниям. Метаданные Hugging Face также указывают текстовую генерацию с архитектурой CambrianQwen, 1,5 млрд параметров и контекстом 32 768 токенов; это не описывает полный размер генеративной системы Scale-RAE. Для вывода текстовый запрос преобразуется в изображение через систему Scale-RAE; исходный репозиторий показывает пример генерации фотографии кота на подоконнике и рекомендует этот вариант модели по умолчанию среди перечисленных конфигураций. Код проекта опубликован под лицензией MIT. Карточка модели автоматически создана и не содержит содержательных сведений об ограничениях, языковой поддержке или лицензии самих весов; качество генерации и поддерживаемые языки по имеющимся источникам конкретно не охарактеризованы.
ariG23498/sd-3.5-merged — объединённая модель для генерации изображений по текстовому описанию на основе Stable Diffusion 3.5 Large и Stable Diffusion 3.5 Large Turbo от Stability AI. Автор карточки сообщает, что объединение нацелено на сочетание детализации Large со скоростью Turbo; для примера указана генерация за 6 шагов против 40 у Large и 4 у Turbo. Модель предназначена для создания изображений по текстовым запросам и доступна в формате Diffusers с весами Safetensors. Карточка указывает английский язык. Лицензия в метаданных обозначена как other; конкретные условия использования следует сверять с лицензиями базовых моделей.
Карточка модели acheong08/SD-V1-5-cloned на Hugging Face совпадает с карточкой jcplus/stable-diffusion-v1-5, поэтому описание составлено по ней. Stable Diffusion v1.5 — модель генерации изображений по текстовому описанию, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель с текстовым энкодером CLIP ViT-L/14; она создаёт и редактирует изображения по запросам. Чекпойнт основан на весах Stable Diffusion v1.2 и дополнительно обучен на 595 тысячах шагов с разрешением 512×512 на данных LAION Aesthetics v2 5+. Модель подходит для создания иллюстраций и концептов, художественных и дизайнерских процессов, а также для экспериментов с генеративными моделями и творческих инструментов. Она принимает текстовые запросы и выдаёт изображения. Основной язык обучения и наиболее эффективных запросов — английский. Репозиторий содержит веса в форматах Diffusers и PyTorch. Лицензия — CreativeML OpenRAIL-M. Модель не гарантирует фотореализм, плохо отображает читаемый текст и сложные пространственные отношения, а лица и люди могут получаться некорректно. Результаты по неанглоязычным запросам слабее; обучающие данные могут приводить к смещениям и запоминанию изображений. В карточке также отмечено, что обучающий набор содержит материалы для взрослых, поэтому для практического развёртывания рекомендуется использовать механизм проверки безопасности.
SDXL-512 — диффузионная модель генерации изображений по тексту, разработанная Natural Synthetics Inc. и дообученная на базе Stable Diffusion XL 1.0. Она предназначена для более простой генерации детализированных изображений при разрешении около 512×512 пикселей; обучение на подборке данных с разными соотношениями сторон чередовало пакеты низкого и высокого разрешения, чтобы сохранить возможности базовой модели при больших размерах. Авторы рекомендуют использовать модель вместе с Hotshot-XL. Модель подходит для создания изображений по текстовым описаниям и их редактирования. Она не гарантирует фотореализм, может плохо отображать лица и людей, не умеет надёжно создавать читаемый текст и испытывает трудности со сложными пространственными композициями. Лицензия — CreativeML Open RAIL++-M License (OpenRAIL++).
sdxl-unstable-diffusers-y — модель генерации изображений по текстовому описанию, опубликованная под аккаунтом stablediffusionapi. Карточка демонстрирует вызов модели через API ModelsLab и указывает модельный идентификатор sdxl-unstable-diffusers-y; в метаданных отмечена архитектура StableDiffusionXLPipeline и формат Diffusers на PyTorch. Модель предназначена для создания изображений по запросу, в том числе фотореалистичных портретов и сцен с детально заданными стилем, освещением и композицией. Пример API также показывает параметры отрицательного запроса, размера изображения, числа шагов генерации и guidance scale. Репозиторий распространяется по лицензии CreativeML Open RAIL-M. Карточка не сообщает о специальной настройке для конкретных предметных областей или языков; приведённый пример использует англоязычный запрос. Качество результата зависит от формулировки запроса, а сведения о конкретных ограничениях и сравнительных оценках модели в карточке отсутствуют.
SDXS-512-DreamShaper — модель генерации изображений по текстовому описанию, созданная авторами проекта SDXS как вариант для сообщества. Она относится к семейству латентных диффузионных моделей SDXS и рассчитана на генерацию изображений 512 пикселей за один шаг. При обучении использовались score distillation и feature matching; модель ориентирована на качество изображения и жертвует разнообразием результатов. В качестве учителя использовалась dreamshaper-8-lcm, также применялась dreamshaper-8, а декодирование выполняется с помощью TAESD. Модель подходит для быстрого создания изображений по текстовым промптам. Репозиторий распространяет веса в формате Diffusers и Safetensors, запуск предусмотрен через Diffusers. Авторы опубликовали её как часть исследовательской работы; лицензия — OpenRAIL++. README предупреждает, что декодер изображений модели несовместим с Diffusers и используется TAESD, а его возможная замена ожидалась в будущем обновлении Diffusers.