I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельonnx-community/Florence-2-base — это версия модели Florence-2-base с весами в формате ONNX, подготовленная сообществом onnx-community для совместимости с библиотекой Transformers.js. Базовая модель разработана Microsoft. Модель предназначена для задач vision-language, включая генерацию подписей к изображениям и преобразование визуальной информации в текст; в примере показано создание подробного описания изображения по текстовой инструкции. Модель принимает изображение и текстовый промпт, поддерживает условную генерацию и может работать в JavaScript-среде через Transformers.js, в том числе в браузерных сценариях с WebGPU. В README не указаны размер модели, архитектурные детали, перечень поддерживаемых языков, максимальная длина контекста и набор всех доступных задач. К сильным сторонам относятся ONNX-формат и интеграция с веб-инструментами; ограничения и требования к производительности зависят от окружения выполнения и выбранного типа данных. Лицензия — MIT.
FLUX.1 [dev] — модель генерации изображений по текстовому описанию, представленная в карточке репозитория rayonlabs/FLUX.1-dev. Это трансформер rectified flow с 12 млрд параметров, обученный с помощью дистилляции guidance; доступна в формате Diffusers и весах Safetensors. Модель подходит для создания изображений по промптам в творческих и исследовательских рабочих процессах, включая локальный запуск через ComfyUI или Diffusers. README заявляет высокое качество генерации и конкурентное следование промпту, однако результат зависит от формулировки запроса и может ему не соответствовать. Модель не предназначена для предоставления фактической информации и может усиливать социальные предубеждения. Лицензия указана как other; README ссылается на лицензию FLUX.1 [dev] Non-Commercial License и описывает разрешённое использование результатов для личных, научных и коммерческих целей. Саму модель и её производные запрещено использовать для ряда незаконных и вредоносных сценариев, перечисленных в карточке.
lllyasviel/FLUX.1-dev-gguf — это квантованная версия модели FLUX.1-dev в формате GGUF, предназначенная для генерации изображений по текстовому описанию. Базовую модель разработала Black Forest Labs, а квантование выполнил city96; данный репозиторий представляет собой GGUF-зеркало модели. Модель ориентирована на сценарии text-to-image и image generation. В предоставленных данных не указаны точная архитектура, размер модели, поддерживаемые языки, контекст, наборы модальностей и конкретные характеристики качества или производительности. Квантованный формат может быть удобен для запуска в совместимых инструментах и уменьшения требований к ресурсам, однако возможны компромиссы по качеству и совместимости. Модель распространяется по лицензии flux-1-dev-non-commercial-license; для коммерческого использования она не предназначена.
FLUX.1 [dev] — модель генерации изображений по текстовому описанию, представленная в карточке Black Forest Labs и опубликованная пользователем camenduru. Это трансформер rectified flow с 12 млрд параметров; веса доступны в формате Diffusers и SafeTensors. Модель обучена с guidance distillation и предназначена для локальной генерации изображений, творческих рабочих процессов и экспериментов с текстовыми запросами. Модель рассчитана на англоязычные запросы и заявляет высокое качество изображений и хорошее следование промпту, хотя результат зависит от формулировки запроса и может ему не соответствовать. Она не предназначена для предоставления фактической информации и может усиливать общественные предубеждения. Лицензия указана как Other; README описывает условия FLUX.1 [dev] Non-Commercial License, поэтому перед использованием следует проверить её ограничения, особенно для коммерческих сценариев.
Sa1i/gakki-mix-512-young — модель преобразования текстовых запросов в изображения на основе Stable Diffusion, опубликованная пользователем Sa1i. Репозиторий распространяет веса в форматах Diffusers, PyTorch и safetensors; карточка рекомендует использовать VAE. Модель предназначена для создания изображений по текстовому описанию. Лицензия CreativeML OpenRAIL-M; в карточке также указано, что коммерческое использование запрещено, как и использование для незаконных действий и целей.
HiDream-O1-Image-Dev-mlx-q8 — портированная Mrbizarro для mlx-community 8-битная версия модели HiDream-O1-Image-Dev для генерации изображений по тексту на компьютерах Apple Silicon. В основе лежит архитектура Qwen3-VL; веса основной части модели квантизированы до Q8 с размером группы 64, а дополнительные diffusion-головы сохранены в BF16. Репозиторий содержит веса и конфигурации, а скрипты инференса находятся в отдельном репозитории BF16. Модель предназначена для локальной генерации изображений, особенно квадратных изображений размером 1024×1024 и 2048×2048. В описанных конфигурациях пиковое потребление памяти составляет около 11,5 ГБ. Для неквадратных размеров README отмечает видимую сетку патчей размером 32 пикселя в ровных областях; редактирование изображений для этой версии не рекомендуется. Модель распространяется по лицензии MIT.
Koharu Text SAM-TS-L — модель сегментации текста на страницах манги, разработанная mayocream путём дообучения ViT-L Hi-SAM/SAM-TS TextSeg. Она выделяет пиксели текста и предназначена для подготовки масок текста при оцифровке манги и комиксов. Модель возвращает бинарную маску изображения; она не обнаруживает речевые пузыри, панели или отдельные текстовые строки и не распознаёт символы. Полная модель содержит около 339 млн параметров и распространяется в формате SafeTensors; также доступно состояние обучаемого адаптера примерно на 30,7 млн параметров. На тестовых страницах из четырёх книг модель улучшила HR IoU относительно исходного TextSeg на 39 из 40 страниц. Обучение и оценка проводились на страницах японской манги из Manga109; лицензия весов — Apache-2.0. Модель лучше работает с чётко напечатанным японским текстом. Мелкий текст, стилизованные звуковые эффекты, плотная верстка и текстоподобные иллюстрации остаются сложными случаями; для других стилей манги и комиксов возможен разрыв предметной области. Для запуска требуются Hi-SAM и его зависимости; модель не совместима напрямую с transformers.AutoModel и виджетом инференса Hugging Face.
Lens-Turbo-3.8B-8bit — конверсия модели Microsoft Lens-Turbo в формат MLX для запуска на Apple Silicon. Это диффузионная модель с архитектурой DiT и 3,8 млрд параметров, дистиллированная версия семейства Lens для генерации изображений за четыре шага; рекомендуемые параметры из карточки — 4 шага и guidance scale 1,0. В репозитории находятся 8-битные веса с групповой квантизацией, занимающие около 4,39 ГБ. Модель принимает текстовый запрос и создаёт изображение; в примере показана генерация изображения размером 1024×1024. Для работы нужны токенизатор, энкодер GPT-OSS-20B и VAE FLUX.2, загружаемые из исходной модели. Весовая часть DiT распространяется по лицензии MIT; README указывает для энкодера лицензию Apache-2.0. Конверсия выполнена сообществом mlx-community, а исходная модель разработана Microsoft.
misri/leosamsHelloworldXL_helloworldXL70 — модель генерации изображений по текстовому описанию от пользователя Hugging Face misri. Репозиторий содержит веса в формате Diffusers и Safetensors и использует конвейер StableDiffusionXLPipeline; карточка предлагает загрузку через Diffusers. Внешний источник также относит её к моделям SDXL. Модель предназначена для создания изображений по текстовым запросам. Карточка Hugging Face не описывает отдельные сценарии, языковую специализацию, размер контекста или особенности качества. Лицензия указана как unknown, поэтому условия использования по карточке определить нельзя.
LeX-Lumina — модель генерации изображений по текстовому описанию, разработанная авторами проекта LeX-Art. Она дообучена на базе Alpha-VLLM/Lumina-Image-2.0 с использованием набора данных LeX-10K и предназначена для создания изображений с более точным отображением текста, включая надписи с заданными цветом, расположением и шрифтом. Базовая Lumina-Image-2.0 — диффузионный трансформер с 2 млрд параметров. Модель подходит для создания постеров, графики и других изображений, где важны читаемые надписи и соответствие текстового оформления запросу. Репозиторий использует Diffusers и формат safetensors. Лицензия — MIT.
LTX-2.5-Diffusers — репозиторий весов модели LTX-2.5 от Lightricks для запуска и тонкой настройки на собственной инфраструктуре. Основное назначение — генерация синхронизированных видео и аудио высокого качества по тексту, а также работа с изображениями и видео как входными условиями. Модель загружается через библиотеку Diffusers; репозиторий содержит дистиллированный DiT-трансформер по умолчанию, полный вариант Full/SFT и свёрточный видео-VAE. Для декодирования видео доступен также отдельный diffusion-декодер. Карточка описывает workflows для генерации видео и аудио, включая двухэтапную генерацию с повышением разрешения, обработку условий и запуск декодирования с ограничением памяти через tiling. Для работы требуется актуальная версия Diffusers из основной ветки; отдельные сценарии требуют установки kernels. Лицензия LTX-2.x Community License допускает коммерческое и производственное использование без оплаты для организаций с годовой выручкой менее 10 млн долларов; для организаций с большей выручкой предусмотрено отдельное платное соглашение, а передача дообученных моделей может требовать платной лицензии.
digiplay/MGM — модель генерации изображений по текстовому описанию, представленная в формате Diffusers и использующая Stable Diffusion Pipeline. В карточке модели приведено лишь изображение-пример, созданное через API Hugging Face, поэтому дополнительные сведения об архитектуре и характеристиках модели установить нельзя. Модель предназначена для создания изображений по текстовым запросам. Репозиторий содержит веса в формате safetensors; лицензия указана как other, без пояснений в доступной карточке. Оценить качество, языковую поддержку и ограничения по примеру из README нельзя.
mindview-t2i-turbo — модель генерации изображений по текстовому описанию, опубликованная проектом mindview. Она объединяет усечённый текстовый энкодер Ternary Bonsai 1.7B и диффузионный трансформер Bonsai Image 4B на основе FLUX.2 [klein]; всего в модели 4,61 млрд весов, большинство из которых тернарные. Файл GGUF объёмом около 1,2 ГБ рассчитан на браузерный запуск через WebGPU без сервера и создаёт изображения размером 512 × 512 за один, два или четыре шага. Модель подходит для быстрого создания изображений по текстовым промптам непосредственно в браузере. Одношаговый режим работает быстрее, но может давать более мягкие изображения; двухшаговый использует черновой этап 256 × 256, а четырёхшаговый обычно точнее передаёт промпт. По описанию автора, ветви ускорения обучались подражать полноточным учителям, а тестирование проводилось на ограниченном наборе промптов. В README не указана отдельная лицензия самого набора весов; метаданные Hugging Face указывают Apache-2.0.
MiniMax H3 X2 Detail VAE — производный видео-VAE для MiniMax H3, опубликованный автором speach1sdef178. Чекпойнт safetensors предназначен для декодирования латентов H3 с увеличением пространственного разрешения в 2 раза; README также описывает экспериментальный режим обработки исходного RGB-референса, который использует признаки энкодера для усиления локальных деталей перед генерацией видео в ComfyUI. Для декодирования требуется пользовательский узел MiniMax H3 VAE Decode (fast) из ComfyUI-MiniMaxH3_LatentUpscaler. Режим усиления референса зависит от включённого в релиз узла ComfyUI и ограничен исходными изображениями: автор подчёркивает, что этот путь использует данные до латентного узкого места и не переносит дополнительную детализацию на произвольные латенты сгенерированного видео. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.
naflexViT-B-32.cc12m-pj24-32-40-siglip — двухбашенная модель контрастного сопоставления изображений и текста, разработанная rwightman. Она основана на зрительной башне NaFlexViT-Base/32 и классическом текстовом трансформере CLIP; обучена на CC12M с функцией потерь SigLIP и случайным выбором размера патчей 24, 32 или 40 пикселей. Текстовый токенизатор использует CLIP BPE с контекстом 77 токенов. Конфигурация поддерживает интерполяцию позиционных параметров патчей. Модель предназначена для классификации изображений по текстовым меткам без дообучения: она сопоставляет изображение с кандидатными описаниями и оценивает соответствие. В лучшем из описанных режимов, при размере патча 32 и бюджете 100 визуальных токенов, достигла 43,778% top-1 на ImageNet-1k. Обучалась на CC12M в течение 32 эпох; карточка описывает её как исследовательский контрольный чекпойнт, проверенный только на ImageNet-1k. Для инференса рекомендуется open_clip с поддержкой NaFlex и режим patch 32 / 100 токенов. Лицензия — Apache-2.0. Результаты не включают оценку на нескольких запусках, проверку устойчивости ImageNet, поиск по COCO или генерацию подписей.
Omni-Diffusion — мультимодальная модель семейства Dream, представленная как модель для совместного понимания и генерации текста, речи и изображений. Она использует дискретную диффузию с маскированием и моделирует совместное распределение мультимодальных токенов. Репозиторий содержит 7,2 млрд параметров; заявленная длина контекста — 131 072 токена. Модель предназначена для сценариев, где требуется связывать текст, речь и изображения в единой системе, включая мультимодальное понимание и генерацию. Для загрузки используется библиотека Transformers с пользовательской архитектурой и параметром trust_remote_code=True. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. В карточке нет результатов оценки качества или подробностей о поддерживаемых направлениях преобразования между модальностями, поэтому практические возможности конкретных сценариев по имеющимся данным не уточнить.
Paragon V1.0 — модель генерации изображений по текстовому описанию в формате Diffusers, опубликованная SG161222. В карточке указаны рекомендации по генерации: sampler Euler A, CFG Scale 5–12 и Clip Skip 2; необходимый VAE уже встроен в модель. Модель находится на этапе тестирования. Для повышения качества автор рекомендует использовать отрицательный промпт, отсекающий анатомические искажения и нежелательные стили, а для увеличения изображения — Hires.Fix с умеренным denoising strength. Репозиторий распространяется в формате safetensors по лицензии CreativeML OpenRAIL-M.
PixArt-Sigma-900M — модель генерации изображений по текстовому описанию на архитектуре PixArt Sigma. Эта версия содержит 900 млн параметров; в README сказано, что она расширена относительно базовой версии PixArt Sigma на 600 млн параметров. Модель основана на адаптации jimmycarter модели PixArt Sigma от PIXART-Σ. Модель предназначена для создания изображений по текстовым запросам. README заявляет об улучшенном качестве генерации, но не приводит количественных оценок или подробностей о методе расширения модели. Репозиторий использует Diffusers и формат safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о поддерживаемых языках запросов или ограничениях качества и областях применения.
votepurchase/plantMilkModelSuite_walnut — модель генерации изображений по текстовому описанию, опубликованная на Hugging Face. Карточка и метаданные указывают на Stable Diffusion XL и использование Diffusers с файлами Safetensors. Модель предназначена для создания изображений по текстовым запросам, в том числе реалистичных и фотореалистичных сцен. Репозиторий содержит компоненты Diffusers, включая текстовые энкодеры, UNet и VAE, а также лицензию CreativeML OpenRAIL-M. По доступным сведениям нельзя надёжно установить точный размер модели, контекст, поддерживаемые языки или конкретные ограничения качества. Поскольку карточка не подтверждает обучение автором с нуля или связь с определённым исходным чекпойнтом, происхождение модели указано как неизвестное.
Playground v1 — модель генерации изображений от Playground на основе латентной диффузии. Она принимает текстовые запросы и создаёт изображения; автор отмечает улучшенное качество HDR для более выразительных результатов. Модель доступна в формате Diffusers на PyTorch и запускается через библиотеку diffusers. Модель предназначена для генерации изображений по описанию. Проект больше не активен на playground.com, обновления не ожидаются. Размер модели, длина контекста и лицензия в предоставленных источниках не указаны.
Qwen-Image-2.1 MLX-Serve 4bit — 4-битная квантованная версия модели Qwen/Qwen-Image-2.1, подготовленная пользователем ddalcu для запуска через mlx-serve на компьютерах Mac с Apple Silicon. Модель предназначена для генерации изображений по текстовому описанию, а также поддерживает сценарий image-to-image с параметрами image и strength. Для API mlx-serve предусмотрена генерация изображений размером 512×512 и 1024×1024; число шагов по умолчанию составляет 40. При использовании negative_prompt и guidance_scale выше 1 включается classifier-free guidance. Квантование выполнено до 4 бит с размером группы 64 для линейных слоёв DiT-блоков и текстового энкодера. VAE, embed_tokens, нормализации и некоторые небольшие или общие линейные слои сохранены в плотном формате; Qwen3-VL vision tower и lm_head удалены, поскольку модель предназначена только для text-to-image. Размер пакета составляет около 10,7 ГБ, а заявленная целевая конфигурация — Mac с 16 ГБ памяти. На M1 Pro с 32 ГБ памяти измерено пиковое потребление около 9,55 ГБ для 4-битной версии при разрешении 1024×1024. Основное преимущество модели — существенное снижение требований к памяти по сравнению с 8-битной версией, что делает запуск возможным на совместимых Mac. Ограничение заключается в том, что на момент публикации пакет работает только с веткой mlx-serve feat/qwen-image-2.1; выпущенные версии mlx-serve и MLX Core его не поддерживают. Модель распространяется по лицензии Apache-2.0, как и базовая модель.
Realistic Vision 1.2 — модель генерации изображений по текстовому описанию в формате Stable Diffusion. Репозиторий опубликован Yntec и содержит веса для Diffusers в форматах PyTorch и SafeTensors; карточка приводит пример промпта с портретом персонажа. Модель предназначена для создания реалистичных и полуреалистичных изображений по текстовым запросам. В метаданных указана лицензия CreativeML OpenRAIL-M, которая определяет условия использования модели.
Afzalsiiit/results — дообученная модель классификации изображений на основе Swin-Tiny, разработанной Microsoft. Она обучена на наборе данных, загруженном в формате imagefolder, и предназначена для отнесения изображений к категориям. В карточке указана потеря 0,0274 на оценочном наборе, но состав классов и подробности оценки не приведены. Модель содержит около 33 млн параметров, использует архитектуру Swin и сохранена в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает конкретные сценарии применения или ограничения качества; результаты могут зависеть от соответствия новых изображений обучающим данным и классам.
akleine/sdxs-512 — дообученная модель для генерации изображений по текстовым описаниям, основанная на IDKiro/sdxs-512-dreamshaper. Согласно метаданным, это модель семейства SDXS: латентная диффузионная модель, предназначенная для быстрой генерации изображений размером 512 пикселей за один шаг. Репозиторий использует формат safetensors и библиотеку diffusers. Модель подходит для быстрого создания изображений по промптам и прототипирования визуальных идей. README не содержит сведений о разработчике, качестве результатов или дополнительных сценариях применения. Лицензия — OpenRAIL++; её условия следует учитывать при использовании и распространении результатов.
Stable Diffusion v1.5 — модель генерации изображений по текстовому описанию, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель с текстовым энкодером CLIP ViT-L/14; она создаёт и редактирует изображения по запросам. Чекпойнт основан на весах Stable Diffusion v1.2 и дополнительно обучен на 595 тысячах шагов с разрешением 512×512 на данных LAION Aesthetics v2 5+. Модель подходит для создания иллюстраций и концептов, художественных и дизайнерских процессов, а также для экспериментов с генеративными моделями и творческих инструментов. Она принимает текстовые запросы и выдаёт изображения. Основной язык обучения и наиболее эффективных запросов — английский. Репозиторий содержит веса в форматах Diffusers и PyTorch. Лицензия — CreativeML OpenRAIL-M. Модель не гарантирует фотореализм, плохо отображает читаемый текст и сложные пространственные отношения, а лица и люди могут получаться некорректно. Результаты по неанглоязычным запросам слабее; обучающие данные могут приводить к смещениям и запоминанию изображений. В карточке также отмечено, что обучающий набор содержит материалы для взрослых, поэтому для практического развёртывания рекомендуется использовать механизм проверки безопасности.
NagaSaiAbhinay/temp_model — модель генерации изображений по текстовому описанию, опубликованная пользователем Hugging Face NagaSaiAbhinay и распространяемая в формате Diffusers с весами Safetensors. Репозиторий использует архитектуру FluxPipeline; конфигурация трансформера указывает на FLUX.1-dev. В карточке приведён пример создания изображения по текстовому запросу. Модель предназначена для генерации изображений из текстовых промптов. Метаданные не сообщают размер параметров, поддерживаемые языки или лицензию, поэтому эти характеристики здесь не указаны. Репозиторий содержит несколько файлов весов и адаптер; назначение конкретных вариантов не описано достаточно подробно.
xocialize/tryon-FLUX.2-klein-4B-lora — LoRA-адаптер для модели FLUX.2-klein-4B, разработанный и обученный xocialize. Модель предназначена для виртуальной примерки одежды и редактирования изображений по нескольким референсам. На вход подаются три изображения в фиксированном порядке: фотография человека в полный рост с замаскированной или удалённой областью одежды, отдельно представленная верхняя часть одежды и отдельно представленная нижняя часть. Для цельного платья его следует использовать в обоих слотах одежды. На выходе создаётся изображение человека в указанном комплекте с сохранением личности, позы и фона. Для запуска используется триггер TRYON и библиотека Diffusers с pipeline image-to-image. Адаптер имеет ранг 32 и основан на FLUX.2-klein-4B; опубликованный файл весит около 92,4 МБ. Обучение проводилось на 273 размеченных наборах изображений одежды, с использованием маскирования одежды, сегментации частей гардероба и аннотирования Qwen2.5-VL. Лучше всего модель работает на полноразмерных фотографиях людей в стоячей или сидячей позе. Ограничения включают возможные артефакты из-за захвата посторонних объектов при сегментации нижней части одежды; наиболее слабый сценарий — полностью тёмные комплекты. Модель распространяется по лицензии Apache-2.0. Исходные кадры из Pexels не публикуются, доступны только обученные веса.
digiplay/unstableDiffusersYamerMIX_v3 — модель семейства Stable Diffusion в формате Diffusers для генерации изображений по текстовым запросам. В карточке представлены примеры изображений, созданных автором. Репозиторий содержит веса PyTorch в формате safetensors. Модель предназначена для преобразования текстового описания в изображение. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории.
Модель hezarai/vit-roberta-fa-image-captioning-flickr30k предназначена для автоматического создания подписей к изображениям на персидском языке. Её разработал Sajjad Ayoubi; архитектура сочетает визуальный энкодер ViT и текстовый декодер RoBERTa, а обучение проводилось на наборе flickr30k-fa. Для работы автор указывает библиотеку Hezar. Модель принимает изображение и генерирует текстовое описание его содержимого. Она подходит для добавления персидских подписей к изображениям и построения демонстрационных систем описания сцен. В карточке не приведены сведения о размере модели и длине контекста. Лицензия в предоставленных данных не указана.
X-CLIP — видеоязыковая модель семейства CLIP, разработанная Microsoft и представленная в работе Ni et al. Это базовая версия с патчами 16×16, обученная в few-shot режиме с двумя примерами на класс на наборе UCF101. Модель сопоставляет видео и текст с помощью контрастивного обучения и принимает видеокадры вместе с текстовым описанием.