I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельLTX-2.3 Surface Realism LoRA — это адаптер LoRA для видеоветви модели Lightricks LTX-2.3, разработанный автором joeygambino. Он предназначен для генерации видео с более реалистичными, естественно изношенными поверхностями: потрескавшимся мокрым асфальтом, пористым бетоном со следами ржавчины, потёртыми полами, примятой растительностью и выраженной текстурой древесины. Адаптер работает как постоянный приоритет материалов и не требует trigger word; достаточно подключить его с силой 1.0 и использовать обычные текстовые подсказки. Модель относится к семейству LTX-2.3 и совместима с 22B-вариантами, включая stock distilled 1.1 и указанные JoyAI-Echo surgical merges в форматах bf16, fp8, INT8 и GGUF при fuse-at-load. Это видеоориентированный адаптер ранга 32, содержащий 1 152 LoRA-тензора в модулях внимания и feed-forward видео-ветвей. Аудиоветвь не затрагивается, поэтому диалоги, голоса и акценты должны оставаться без изменений. Обучение выполнено на 1 076 собственных изображениях материалов, сгенерированных специально для этой задачи; использовались ai-toolkit, RTX 3090, 3 000 шагов и learning rate 1e-4. Сильная сторона адаптера — улучшение правдоподобия материалов и устранение чрезмерно гладкого, пластикового вида поверхностей без необходимости запоминать специальное ключевое слово. Ограничение состоит в том, что это не самостоятельная модель, а дополнение к LTX-2.3, ориентированное прежде всего на визуальные свойства поверхностей; README не указывает точные языковые характеристики, размер контекста или результаты независимых бенчмарков. Весы распространяются по LTX-2 Community License базовой модели.
LUSTIFY-v2.0 — фотореалистичная модель генерации изображений на основе SDXL 1.0 от автора coyotte. Версия 2 получена слиянием LUSTIFY V1 и NatVis с последующим дообучением на новом наборе изображений; автор сообщает о 26 535 дополнительных шагах обучения. Модель предназначена для создания изображений по текстовым запросам, понимает естественный язык и теги Danbooru. Модель ориентирована на фотореалистичные изображения, включая контент для взрослых, и также может создавать изображения без такого содержания: предметы, животных и фантастических существ. Автор отмечает улучшения разнообразия стилей, следования запросу и генерации безопасного для работы контента. Лицензия в предоставленных сведениях не указана.
Это специализированный визуальный энкодер стиля китайского сценического текста на основе DINOv2 ViT-S/14, дообученный для представления типографики и визуального оформления, а не распознавания содержания надписи. Он принимает плотно обрезанное изображение текстового фрагмента или строки; предварительная обработка сохраняет пропорции и дополняет изображение до 112 × 448 пикселей. Модель возвращает L2-нормированные векторы общего визуального стиля, типографики и оформления заливки, обводки, тени и прозрачности, а также локальные токены для исследовательских экспериментов. Основной сценарий — извлечение признаков и сравнение стиля китайских надписей в контролируемом синтетическом домене. Английский поддерживается слабее; для двух письменностей рекомендуется двуязычный вариант. Данные синтетического поиска не подтверждают точность на реальных изображениях, а токены не проверены как условие для генератора. Репозиторий содержит полную дообученную основу; веса опубликованы в формате safetensors по лицензии Apache-2.0.
Mann-E 4 (revision 1.3) — модель генерации изображений по текстовому описанию, созданная Мухаммадрезой Хагири в рамках проектов Open Cognitives. Проект задуман как свободная альтернатива Midjourney. Модель основана на Stable Diffusion 1.5 и использует собственный текстовый энкодер; в репозитории представлены форматы Diffusers, PyTorch и Safetensors. Модель предназначена для создания иллюстраций и художественных изображений по промптам. В карточке приведены примеры с художественными стилями, включая ретровейв и стилизацию под видеоигры, а также настройки сэмплеров Euler a и DPM++ SDE Karras. Данные для обучения собирались из интернета. Лицензия — MIT. Модель принимает текстовые промпты и выдаёт изображения. Карточка не сообщает о поддерживаемых языках и длине контекста; качество и точность следования промпту могут зависеть от формулировки и выбранных настроек генерации.
Neurogen — модель генерации изображений по текстовому описанию, представленная автором под именем Neurogen. Карточка описывает версии v1.1 и отмечает детализированную передачу кожи и текстур, особенно в фотореалистичных портретах крупным планом, а также генерацию персонажей и моделей. Для улучшения детализации изображений в полный рост автор рекомендует использовать Hires fix. Модель также рассчитана на цифровое искусство и аниме. Репозиторий содержит веса в форматах Diffusers, PyTorch и Safetensors. Указана лицензия other; более подробные условия использования в доступных данных не приведены.
nuipenimix — модель генерации изображений по текстовому описанию, опубликованная пользователем Yntec. Репозиторий использует Stable Diffusion в формате Diffusers и включает встроенный VAE MoistMixV2. Карточка демонстрирует генерацию стилизованных персонажей и животных, в том числе в мультяшной и аниме-эстетике. Модель предназначена для создания иллюстраций по промптам: примеры включают персонажей из игр и мультфильмов, портреты и фантазийную сцену с красной пандой. В метаданных указана лицензия CreativeML OpenRAIL-M. Карточка не сообщает размер модели, длину контекста или конкретные гарантии качества.
Карточка модели JSCreatorPro/offline-video-wan21-1.3b на Hugging Face совпадает с карточкой Wan-AI/Wan2.1-T2V-1.3B, поэтому описание составлено по ней. Wan2.1-T2V-1.3B — модель генерации видео из текста из открытого семейства Wan2.1, разработанного Wan-AI. Она предназначена для создания коротких видеороликов по текстовым описаниям и рассчитана на работу, в том числе, на потребительских видеокартах. Модель построена на архитектуре diffusion transformer; репозиторий содержит веса в формате safetensors и поддерживает запуск через Diffusers. Модель генерирует видео с разрешением 480p и может работать в 720p, хотя авторы отмечают, что результаты при 720p менее стабильны из-за ограниченного объёма обучения на этом разрешении. Для оптимального качества рекомендуется 480p. В README указано, что генерация пятсекундного ролика 480p на RTX 4090 занимает около четырёх минут и требует примерно 8,19 ГБ видеопамяти. Модель может генерировать визуальный текст на китайском и английском; расширение запросов помогает повысить детализацию ролика. Модель предназначена для творческих задач создания видео и экспериментирования с генерацией видео при ограниченных вычислительных ресурсах. Лицензия — Apache-2.0.
Protogen Nova — модель генерации изображений по текстовому описанию, созданная darkstorm2150. Это объединённый чекпойнт Stable Diffusion, собранный из моделей семейства Protogen: версий для аниме, фотореализма, научной фантастики и изображений драконов. В карточке также описана техника Granular Adaptive Learning, применённая при объединении чекпойнтов. Модель предназначена для создания художественных изображений по текстовым запросам. Для запуска README предлагает установить файл модели в каталог Stable Diffusion WebUI; метаданные указывают поддержку Diffusers и форматы PyTorch и safetensors. Карточка сообщает о лицензии CreativeML OpenRAIL-M. Размер модели, длина контекста и конкретные языковые характеристики не приведены.
Protogen Unofficial Release — модель генерации изображений по текстовому описанию, созданная сообществом как смесь Protogen x5.8 и Protogen v2.2. Она использует Stable Diffusion и доступна в формате Diffusers с весами Safetensors; в веса встроен VAE 840K. Модель предназначена для создания художественных иллюстраций и изображений персонажей по промптам. Примеры в карточке показывают стилизованные портреты, фэнтези и киберпанк-сцены, а также живописную и близкую к фотореализму подачу. Карточка отмечает художественные и аниме-направления; основной язык промптов по метаданным — английский. Модель получена слиянием двух чекпойнтов методом SuperMerger Weight Sum Train Difference с настройками MBW. Лицензия указана как other, поэтому конкретные условия использования следует уточнить на странице модели и у авторов базовых чекпойнтов. Параметры размера и контекстного окна в предоставленных данных не приведены.
psychogen-dream — модель для генерации изображений по текстовому описанию, опубликованная Earth & Dusk. Она основана на Stable Diffusion и предназначена для создания изображений в аниме-стиле; карточка указывает на дообучение и использование датасетов bad_prompt и EasyNegative. Модель работает через библиотеку Diffusers и распространяется в форматах PyTorch и safetensors. Модель принимает текстовые запросы и генерирует изображения. В карточке указан английский язык. Лицензия CreativeML OpenRAIL-M. Автор просит не загружать модель повторно и рекомендует сохранять метаданные и указывать авторство при использовании и смешивании моделей.
Raemu XL — модель генерации изображений по текстовому описанию, разработанная Raelina. Она основана на диффузионной архитектуре Stable Diffusion XL и ориентирована на аниме и 2.5D-стиль. В README указаны слияние Animagine XL 3.1 с RealCartoonXL V6 и Blue Pencil XL v3.1.0, а также дополнительная настройка варианта Lightning на 860 изображениях высокого качества. Модель подходит для создания стилизованных иллюстраций по промптам. В карточке приведены рекомендуемые разрешения, настройки генерации и подсказки для улучшения качества, включая отрицательные промпты и режим Hires.fix. Метаданные указывают форматы Diffusers и Safetensors и английский язык карточки. Для модели указана лицензия Fair AI Public License 1.0-SD. README отмечает, что отрицательные промпты помогают уменьшить дефекты вроде плохо прорисованных рук, размытия и водяных знаков; результат зависит от промпта и настроек генерации.
Real Dream SDXL Pony 12 — авторский чекпойнт для генерации изображений по текстовому описанию, опубликованный пользователем sinatra. Модель основана на Pony SDXL и объединяет влияния нескольких реалистичных и художественных моделей; автор описывает её как ориентированную на фотореалистичные изображения с детализированной текстурой лица, более согласованными сценами и реалистичным контрастом. Модель принимает текстовые промпты и выдаёт изображения. Для Pony SDXL автор рекомендует сэмплер Euler a или DPM++ SDE Karras и 20–30 шагов; для работы с небольшим объёмом видеопамяти упоминаются режимы экономии памяти и Fooocus. Чекпойнт представлен в форматах Diffusers и safetensors. Автор предупреждает о риске создания реалистичных изображений, способных вводить людей в заблуждение, и запрещает использовать модель для мошенничества и дезинформации. Условия лицензии в предоставленных материалах не описаны.
SLORA — модель генерации видео по текстовому описанию, разработанная Muhammad Taqi и представленная в формате Diffusers с весами safetensors. Автор описывает её как совместимую по синтаксису и настройкам с Wan-AI/Wan2.1-T2V-14B; модель предназначена для преобразования текстовых запросов в видеопоследовательности с плавным движением и согласованностью с запросом. Заявлена генерация в разрешениях 480p и 720p с использованием пространственно-временного VAE. В метаданных указана лицензия MIT. README не приводит независимых оценок качества или сведений о производительности.
Tantrum — модель генерации изображений по текстовому описанию, опубликованная пользователем Yntec. Карточка показывает её применение на примере мультяшного персонажа в гоночном картинге; в метаданных указана библиотека Diffusers и поддержка форматов Diffusers и safetensors. Модель предназначена для создания иллюстраций в мультяшной и аниме-эстетике по текстовым промптам, включая персонажей, одежду, позы и окружение. В метаданных указана лицензия CreativeML OpenRAIL-M. Карточка не содержит подробных сведений о базовой модели или условиях её обучения.
timm/vit_large_patch14_clip_336.openai — версия CLIP от OpenAI, опубликованная в формате для библиотек timm и OpenCLIP. Модель сопоставляет изображения и текст: визуальный энкодер ViT-L/14 обрабатывает изображения размером 336×336, а текстовый энкодер на основе Transformer использует маскированное self-attention. Контрастное обучение сближает представления соответствующих пар «изображение — текст», что позволяет классифицировать изображения по текстовым описаниям без отдельного обучения на фиксированных классах. Модель предназначена прежде всего для изучения устойчивости и обобщения в компьютерном зрении. Её можно применять для исследовательских экспериментов с классификацией изображений по заданным текстовым меткам; для конкретного сценария требуется проверка на подходящих данных и с фиксированным набором классов. Модель обучалась на парах изображений и подписей из публичных интернет-источников и поддерживает английские текстовые запросы. CLIP может хуже справляться с тонкими различиями между классами и подсчётом объектов; результаты чувствительны к формулировкам и составу категорий, а оценки могут отражать демографические смещения. В README не рекомендуется развёртывать модель в прикладных сценариях без тщательной проверки; распознавание лиц и наблюдение названы недопустимыми сценариями. Лицензия репозитория — Apache-2.0.
digiplay/xiaomeige_outlineColor_v10 — модель генерации изображений по текстовому описанию в формате Diffusers, представленная в файле SafeTensors. Название и карточка связывают её со стилем «Outline Color» (勾线彩画凤), то есть цветной иллюстрацией с контурной обводкой. Модель предназначена для создания изображений по текстовым запросам. Карточка не сообщает сведения об авторе-разработчике, базовой модели, архитектуре или поддерживаемых языках. Лицензия указана как other, поэтому условия использования следует проверять отдельно перед применением.
Xmodel-VLM — мультимодальная модель зрения и языка от XiaoduoAILab, рассчитанная на эффективное развертывание на потребительских GPU-серверах. Метаданные указывают архитектуру XmodelLMForCausalLM семейства XmodelVLM, 1,1 млрд параметров и контекст длиной 32 768 токенов. Модель принимает изображения и текстовые запросы и генерирует текстовые ответы; среди примеров — ответы на вопросы о содержимом изображения. В README описана оценка на наборах VizWiz, SQAI, VQAT, POPE, GQA, MMB, MMBCN, MM-Vet и MME. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не сообщает о поддерживаемых языках и подробно не описывает ограничения модели; для инференса README рекомендует использовать актуальные код и окружение.
Z-Anime — семейство моделей генерации изображений по текстовому описанию, опубликованное в репозитории SeeSee21/Z-Anime. Модель представляет собой полноценную дообученную версию Z-Image Base от Alibaba, а не объединение LoRA. Она основана на архитектуре S3-DiT (Single-Stream Diffusion Transformer) с 6 млрд параметров и ориентирована на создание изображений в аниме-стилистике. Модель предназначена для генерации аниме-персонажей, сцен, поз, композиций и разнообразных художественных вариаций по описательным запросам на естественном языке. Доступны базовая версия с максимальным качеством, дистиллированные варианты для генерации за 8 или 4 шага, а также сборки BF16, FP8, GGUF и AIO. Указан английский язык. Поддерживаются negative prompts, однако в дистиллированных версиях их влияние ограничено. Модель совместима с Diffusers и ComfyUI; заявлена работа примерно от 8 ГБ видеопамяти, а GGUF-варианты подходят для малоресурсных, CPU- и AMD-сценариев. Сильные стороны Z-Anime — выразительная аниме-эстетика, разнообразие стилей, персонажей и композиций, управляемость и пригодность базовой версии для дальнейшего LoRA-дообучения. Ограничения зависят от варианта: BF16 требует около 12 ГБ памяти, FP8 — около 6 ГБ, а дистиллированные версии обеспечивают более быструю генерацию, но хуже поддерживают negative prompts и требуют рекомендованных настроек CFG. В README также указана частичная поддержка NSFW-контента. Лицензия — Apache-2.0.
Ziya-Visual-14B-Chat — мультимодальная модель семейства Ziya от команды Fengshenbang-LM. Она предназначена для ответов на вопросы об изображениях на китайском и английском языках. В карточке указана архитектура InstructBLIP с языковой моделью LLaMA и 14 млрд параметров; метаданные относят модель к семейству BLIP-2 и задаче visual-question-answering. Модель принимает изображения и текстовые вопросы и формирует текстовые ответы. Репозиторий содержит веса PyTorch. Модель распространяется по лицензии GPL-3.0. Карточка не приводит сведения о длине контекста или конкретных ограничениях качества; для использования потребуются совместимые версии PyTorch и tokenizers, приведённые в README.
ZootVisionAlpha — модель генерации изображений по текстовому описанию, представленная автором под названием ZootVision. В карточке она описана как универсальная модель эпохи Stable Diffusion 1.5 с детализированными фонами и разнообразными стилями. Репозиторий использует Diffusers и формат safetensors; метаданные указывают английский язык и лицензию CreativeML OpenRAIL-M. Модель предназначена для создания иллюстраций по промптам: примеры включают фантастические и сказочные сцены, стилизованные портреты, персонажей и рекламную графику. Карточка не приводит размер модели или длину контекста. Примеры с изображением детей являются стилизованными иллюстрациями; README не описывает отдельные функции редактирования или гарантии качества.
3D Cartoon Vision — модель генерации изображений по текстовому описанию, представленная пользователем Yntec. Карточка показывает примеры промптов для мультяшных и анимационных образов: персонажи с крупными глазами, принцесса в сказочном окружении, цыплёнок в стилистике Pixar и детализированные фантазийные сцены. Модель предназначена для создания стилизованных иллюстраций с трёхмерным мультяшным видом. В метаданных указаны библиотека Diffusers, формат safetensors и лицензия CreativeML OpenRAIL-M. Сведения о размере модели, базовой модели, поддерживаемых языках и длине контекста не приведены.
Anima 1.0 Aesthetic Diffusers — это версия модели генерации изображений Anima 1.0, подготовленная в формате Diffusers для использования с SD.Next. Её разработали CircleStone Labs и Comfy Org; эстетический вариант дообучен для более стабильных результатов и выразительного художественного стиля по умолчанию. Модель предназначена для генерации иллюстраций по текстовому описанию, особенно в аниме-стилистике и с не-фотореалистичными изображениями. Модель содержит около 2 млрд параметров и использует CosmosTransformer3DModel с 28 слоями, текстовый энкодер Qwen3-0.6B, адаптер перекрёстного внимания и VAE AutoencoderKLWan. Обучающие подписи включали теги в стиле Danbooru и естественный язык. Рекомендуемый диапазон разрешений — 512×512–1536×1536, а число шагов генерации — 30–50 при CFG 4–5. Модель не предназначена для фотореализма; при чрезмерном CFG или отдельных тегах результат может содержать шум, артефакты или избыточную детализацию. Репозиторий содержит конверсию Diffusers в формате safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия лицензирования исходной модели и этой версии.
shibal1/anything-v4.5-clone — копия модели Anything V4.5, опубликованная автором как архив после того, как исходный репозиторий Anything V4.0 стал недоступен. Это модель latent diffusion на базе Stable Diffusion для генерации изображений по текстовым запросам; она ориентирована на детализированный аниме-стиль и понимает теги Danbooru. В README также приведён пример использования через StableDiffusionPipeline из библиотеки Diffusers. Модель подходит для создания иллюстраций и персонажей в аниме-стиле по коротким промптам. Репозиторий содержит файлы в форматах Diffusers, PyTorch и safetensors; метаданные указывают лицензию CreativeML OpenRAIL-M. Автор описывает репозиторий как архив, первоначальная попытка обучения модели через SD API не удалась. Размер и длина контекста в доступных данных не указаны.
Anything V5 — дообученная модель для генерации изображений по текстовому описанию, опубликованная Yntec. Версия рассчитана на генерацию в разрешении 768×768; в неё встроен VAE kl-f8-anime2 для использования через Inference API. Примеры промптов в карточке ориентированы на аниме, мультяшные изображения, персонажей и стилизованные иллюстрации. Модель распространяется в форматах Diffusers и Safetensors по лицензии CreativeML OpenRAIL-M. В метаданных указана базовая модель Yntec/AnythingV3. Карточка содержит примеры промптов, но не описывает ограничения качества или результаты систематической оценки.
artstation-diffusion v1.0 — латентная модель диффузии для генерации изображений по текстовому описанию, созданная автором репозитория hakurei на основе Stable Diffusion и дообученная на качественных изображениях с ArtStation. Модель рассчитана на генеративное искусство, концепт-арт и развлекательное использование; автор отмечает, что благодаря группировке обучающих примеров по соотношению сторон она хорошо генерирует изображения разных пропорций. Модель принимает текстовые запросы на английском языке и выдаёт изображения. Репозиторий использует формат Diffusers/PyTorch. Лицензия — CreativeML Open RAIL-M, условия которой следует учитывать при использовании и распространении результатов.
BLIP-2 Flan-T5-xl — мультимодальная модель Salesforce для генерации текста по изображению и текстовому запросу. Она объединяет визуальный энкодер CLIP-подобного типа, трансформер Q-Former, связывающий признаки изображения с языковой моделью, и Flan-T5-xl. При обучении энкодер изображения и языковая модель оставались замороженными, а Q-Former обучался передавать визуальную информацию. Модель предсказывает следующий текстовый токен с учётом изображения и предыдущего текста. Модель подходит для создания подписей к изображениям, визуальных ответов на вопросы и диалогов с опорой на изображение. Она принимает изображения и необязательный текст, выдаёт текст; в карточке указан английский язык. Выпуск предназначен для исследовательской работы по академической статье. Лицензия — MIT. Модель может наследовать ограничения Flan-T5 и смещения данных интернет-изображений и подписей; возможны неточные ответы и неподходящий контент. В карточке указано, что модель не тестировалась в реальных приложениях и перед практическим применением требует оценки безопасности, справедливости и точности.
BLIP-2 OPT-6.7b — модель для генерации текста по изображению от Salesforce, опубликованная в рамках исследования BLIP-2. Она объединяет визуальный энкодер, Querying Transformer (Q-Former) и языковую модель OPT на 6,7 млрд параметров; энкодер изображения и OPT используют предварительно обученные замороженные веса, а Q-Former связывает визуальные признаки с языковой моделью. Репозиторий содержит предварительно обученную модель на PyTorch и Safetensors. Модель принимает изображение и необязательный текстовый запрос, а затем генерирует текст. Она подходит для создания подписей к изображениям, визуальных ответов на вопросы и диалогов об изображении. В карточке указан английский язык. Модель может галлюцинировать и наследует смещения и риски OPT и интернет-данных изображений и текстов; её качество, безопасность и справедливость не оценивались для реальных применений. Лицензия — MIT.
digiplay/bluePencilRealistic_v05 — модель семейства Stable Diffusion для генерации изображений по текстовому описанию. Карточка называет её «Lovely Cute Model» и содержит примеры изображений, но не сообщает подробностей об архитектуре, размере или настройках генерации. Модель предназначена для создания изображений по запросам пользователя. Репозиторий содержит веса в формате safetensors для использования с Diffusers и PyTorch. Лицензия указана как other, поэтому условия использования следует проверять в материалах репозитория.
Yntec/breakdomain I2428 — это модель генерации изображений по текстовому описанию на базе Stable Diffusion, опубликованная в формате Diffusers с весами safetensors. Она предназначена для создания иллюстраций в аниме- и мультяшной стилистике; примеры в карточке включают персонажей, чиби, сказочные и игровые мотивы. В модель встроен VAE kl-f8-anime2 для повышения насыщенности и детализации изображений. Для генерации задают текстовый промпт с описанием персонажа, сцены и художественного стиля. В README советуют добавлять «no humans», если изображение должно быть без людей. Модель ориентирована на англоязычные промпты, судя по примерам и метаданным. Лицензия — CreativeML OpenRAIL-M; она устанавливает условия использования и ограничения на применение модели.
Camie Tagger v2 — модель Camais03 для автоматической многометочной разметки аниме- и манга-иллюстраций. Она предсказывает теги из набора примерно 70 527 вариантов, включая художников, персонажей, серии, визуальные признаки и возрастной рейтинг; модель рассчитана на анализ изображений и не генерирует их. В основе — Vision Transformer (ViT), около 143 млн параметров. В README указаны обучение на разрешениях от 384 до 512 пикселей и оценка на 20 116 тестовых изображениях: 67,3% micro F1 и 50,6% macro F1 при соответствующих оптимизированных порогах. Для редких тегов предлагается профиль с макро-оптимизированным порогом; выбор порогов позволяет настраивать компромисс между точностью и полнотой. Модель предназначена для каталогизации иллюстраций и поиска по их тегам, в том числе для определения персонажей и серий. Это специализированная модель для аниме-изображений, поэтому её результаты могут быть менее надёжны на других типах изображений; длинный хвост редких тегов и неполнота исходной разметки также влияют на метрики и предсказания. Доступны веса Safetensors и ONNX. Лицензия — GPL-3.0.