I.10Видео, анимация и 3D
В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
3 279 моделейOpenDalle — модель генерации изображений по текстовому описанию, опубликованная Alexander Izquierdo. Она создана слиянием DPO-модели с Juggernaut7XL, ALBEDOXL, MEARGEHEAVEN и собственной моделью автора; репозиторий использует Diffusers и веса Safetensors. Модель ориентирована на точное следование смыслу и деталям промпта, а не на максимальную фотореалистичность или сверхвысокую детализацию. Автор отмечает улучшенное понимание запросов по сравнению с базовой SDXL и приводит рекомендуемые настройки генерации: CFG 7–8, 35–70 шагов и сэмплер DPM2. Модель принимает текстовые промпты и генерирует изображения. В карточке есть пример стилизованной иллюстрации в эстетике манги 1990-х. Лицензия CC BY-NC-ND 4.0 в метаданных; README дополнительно содержит соглашение автора, разрешающее личное некоммерческое использование и запрещающее распространение и публичное использование производных работ без письменного согласия. Эти условия ограничивают коммерческое применение.
Radiant Vibes — модель генерации изображений по текстовому описанию, опубликованная Yntec. Карточка содержит версии весов FP16 и FP32 и пример запроса для создания стилизованной иллюстрации персонажа с детализированными материалами, выразительным освещением и художественной манерой. Модель распространяется в форматах Diffusers, PyTorch и Safetensors; в тегах указано семейство Stable Diffusion. Модель предназначена для создания художественных изображений, включая фэнтези, иллюстрации и пейзажи. Репозиторий использует библиотеку Diffusers и лицензию CreativeML OpenRAIL-M. Сведений о размере модели, длине контекста и точных языковых возможностях карточка не приводит.
RunDiffusionFX2.5D_v1_diffusers — модель генерации изображений по текстовому описанию в формате diffusers. В карточке указаны архитектура Stable Diffusion и совместимость с StableDiffusionPipeline. Модель опубликована пользователем digiplay 3 июня 2023 года. Она предназначена для создания изображений по текстовым запросам. Карточка содержит примеры изображений, созданных автором, но не описывает их стиль или конкретные сценарии применения. Модель доступна в форматах PyTorch и safetensors. Лицензия обозначена как other, поэтому точные условия использования по предоставленным данным определить нельзя.
SenseNova-SI-1.1-BAGEL-7B-MoT — мультимодальная модель SenseNova, дообученная на основе ByteDance-Seed/BAGEL-7B-MoT для развития пространственного интеллекта. Она принимает изображения и текстовые запросы, отвечает на вопросы о пространственных отношениях и сценах, а также сохраняет возможности базовой BAGEL по генерации изображений. Модель построена на архитектуре BAGEL и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для пространственного анализа изображений, мультимодального диалога и задач, где нужно интерпретировать взаимное расположение объектов или свойства сцены. В отчёте SenseNova-SI указаны результаты на пространственных бенчмарках, включая VSI-Bench, MMSI, MindCube, ViewSpatial и SITE; модель также сохраняет сильные способности к общему мультимодальному пониманию. Лицензия — Apache 2.0. README описывает проект как продолжающуюся исследовательскую работу; результаты бенчмарков не гарантируют качество на прикладных данных.
John6666/sophos-realism-v14-expressive-v2-sdxl — модель text-to-image, созданная sophosympatheia и опубликованная на Hugging Face пользователем John6666. Это слияние моделей на базе Stable Diffusion XL, включая Illustrious-XL-v1.0 и CyberIllustrious, предназначенное для генерации реалистичных и фотореалистичных изображений по текстовым описаниям на английском языке.
Stable Diffusion XL Alchemist — дообученная Yandex модель генерации изображений по текстовому описанию, созданная на основе Stable Diffusion XL 1.0 с использованием датасета Alchemist. Она предназначена для создания изображений с улучшенной эстетикой и большей визуальной сложностью по сравнению с базовой моделью. Модель работает через библиотеку Diffusers и распространяется в форматах Diffusers и safetensors. Модель подходит для генерации иллюстраций и концепт-артов по текстовым запросам. В карточке указаны английский язык и лицензия Apache-2.0. Контекстные и количественные характеристики в доступных материалах не приведены.
T2I-Adapter-SDXL Openpose — адаптер Tencent ARC, созданный в сотрудничестве с Hugging Face для управления генерацией изображений Stable Diffusion XL по позе человека. Он принимает изображение с разметкой OpenPose как дополнительное условие и работает вместе с базовой моделью stabilityai/stable-diffusion-xl-base-1.0, формируя изображение по этому условию и текстовому запросу. Это diffusion-адаптер примерно на 77–79 млн параметров; базовая SDXL содержит 2,6 млрд параметров. Веса опубликованы в формате safetensors. Модель предназначена для генерации изображений с контролируемым расположением и позами людей: например, для иллюстраций, концепт-арта и визуализации персонажей по скелетной разметке. Для работы нужны OpenPose-данные и совместимая базовая SDXL; адаптер сам по себе не является полноценной моделью генерации. В карточке указаны английский язык и лицензия Apache 2.0.
TencentARC/t2i-adapter-sketch-sdxl-1.0 — адаптер T2I-Adapter, созданный в сотрудничестве Tencent ARC и Hugging Face для управления генерацией изображений Stable Diffusion XL с помощью эскизов. Он принимает текстовый запрос и изображение наброска, а базовая модель SDXL использует их для создания изображения, согласованного с текстом и композицией эскиза. Адаптер содержит около 77–79 млн параметров и рассчитан на работу с Stable Diffusion XL Base 1.0. Модель обучали на 3 млн пар изображений высокого разрешения и текстовых описаний из LAION-Aesthetics V2; опубликованные веса представлены в формате safetensors. Карточка указывает английский язык и лицензию Apache 2.0. Модель подходит для превращения ручных набросков в законченные изображения и для задания композиции при генерации по текстовому запросу. Результат зависит от качества и детализации эскиза, формулировки запроса и совместимого пайплайна SDXL; адаптер сам по себе не является самостоятельной базовой моделью генерации.
NagaSaiAbhinay/temp_model — модель генерации изображений по текстовому описанию, опубликованная пользователем Hugging Face NagaSaiAbhinay и распространяемая в формате Diffusers с весами Safetensors. Репозиторий использует архитектуру FluxPipeline; конфигурация трансформера указывает на FLUX.1-dev. В карточке приведён пример создания изображения по текстовому запросу. Модель предназначена для генерации изображений из текстовых промптов. Метаданные не сообщают размер параметров, поддерживаемые языки или лицензию, поэтому эти характеристики здесь не указаны. Репозиторий содержит несколько файлов весов и адаптер; назначение конкретных вариантов не описано достаточно подробно.
Ine007/waiIllustriousSDXL_v160 — модель генерации изображений по текстовому описанию, опубликованная пользователем Ine007 на Hugging Face. Репозиторий оформлен как Stable Diffusion XL pipeline для Diffusers; архитектура включает два текстовых энкодера CLIP, условную UNet и VAE. В карточке указаны 3 млрд параметров и формат safetensors с точностью F16. Модель предназначена для создания изображений по текстовым запросам. В карточке нет сведений о специализации, поддерживаемых языках, длине контекста или лицензии, поэтому эти характеристики нельзя уточнить. Для запуска приведён пример использования Diffusers; требуется вычислительное устройство, совместимое с выбранной точностью и настройками.
waiIllustriousSDXL_v170 — модель генерации изображений по текстовому описанию, опубликованная пользователем Joshua Frank на Hugging Face. Репозиторий использует архитектуру Stable Diffusion XL и Diffusers StableDiffusionXLPipeline: текстовые условия обрабатываются двумя CLIP-кодировщиками, а изображение генерируется условной UNet и декодируется VAE. Файлы доступны в форматах Diffusers и safetensors. Модель предназначена для создания изображений по текстовым запросам. Карточка репозитория показывает пример генерации изображения через Diffusers, но не приводит подтверждённых сведений о специализированных областях, поддерживаемых языках или размере контекста. Репозиторий содержит веса модели, но использованная карточка не уточняет условия лицензии; поэтому условия использования следует сверить с актуальной карточкой до применения.
Western Cartoon Type A — модель генерации изображений из текста на основе Stable Diffusion, опубликованная Yntec. Карточка содержит примеры промптов для создания персонажей и сцен в стилизованной мультяшной манере, включая портрет женщины с розовыми волосами и ярким шарфом. Модель предназначена для генерации иллюстраций по текстовым описаниям. Репозиторий содержит веса в формате safetensors для использования с Diffusers; указано, что это версия без EMA. Лицензия — CreativeML OpenRAIL-M, условия которой следует учитывать при использовании и распространении модели.
GHArt/XXMix_9realisticSDXL_V1.0_xl_fp16 — модель генерации изображений по текстовому описанию на основе Stable Diffusion XL, опубликованная GHArt. Репозиторий содержит веса в формате Diffusers и Safetensors, с точностью F16; на карточке указано около 3 млрд параметров. Модель предназначена для создания изображений по текстовым промптам. Hugging Face показывает пример запуска через Diffusers и StableDiffusionXLPipeline. В названии указана реалистичная направленность, однако карточка модели отсутствует, поэтому её конкретные стилевые возможности и преимущества не подтверждены. Лицензия и ограничения на использование в доступных данных не указаны.
YabaLMixAnimeRealistic_V1.0_VAE — модель генерации изображений по текстовому описанию в формате Stable Diffusion, опубликованная пользователем digiplay. Карточка сообщает, что в веса встроен VAE; репозиторий рассчитан на запуск через Diffusers и содержит файлы Safetensors. Модель предназначена для создания изображений по текстовым промптам. Пример автора показывает стилизованный портрет персонажа в окружении, с заданными деталями внешности, одеждой, освещением и художественным качеством. Лицензия указана как other, поэтому условия использования следует сверить с файлами репозитория и условиями базовой модели.
digiplay/AniDosMix_VAE — репозиторий модели генерации изображений по текстовому описанию в формате Stable Diffusion. В README указан файл anidosmix_2G-VAE.safetensors и сообщается, что в него встроен VAE 84000VAE. Модель предназначена для создания изображений по текстовым запросам. Данных о разработчике, архитектуре, размере и поддерживаемых языках в карточке нет. Репозиторий использует форматы Diffusers и safetensors. Лицензия обозначена как other; конкретные условия использования по имеющимся сведениям определить нельзя.
Anima-Lightning — модель генерации изображений по текстовому описанию, опубликованная aina-tech. Это обновлённый чекпойнт на основе слияния circlestone-labs/Anima и NVIDIA Cosmos-Predict2-2B-Text2Image; в метаданных также отмечено дообучение. Репозиторий содержит веса в формате Safetensors и модуль трансформера с дополнительной ветвью conditioning K=4. Модель предназначена для создания аниме- и иллюстративных изображений за четыре шага диффузии. Для вывода автор рекомендует CFG 1, scheduler shift 3 и сигмы [1, 0.75, 0.5, 0.25]; обычный CosmosTransformer3DModel не загружает чекпойнт полностью, поскольку пропускает обученную ветвь K. Для запуска указаны PyTorch с CUDA и BF16, Diffusers с поддержкой Anima, Transformers, Accelerate и Safetensors. Веса сохранены в BF16, поэтому результаты могут отличаться от FP32-чекпойнта и других реализаций сэмплирования. Лицензия указана как other, конкретные условия в доступной карточке не раскрыты.
beautiful-realistic-asian — модель генерации изображений по текстовому описанию, опубликованная StableDiffusionAPI и предназначенная для использования через сервис ModelsLab. Карточка показывает вызов модели через API и указывает идентификатор beautiful-realistic-asian. Пример запроса нацелен на фотореалистичные портреты с кинематографическим освещением; также предусмотрены негативный промпт и параметры управления генерацией, включая размер изображения, число шагов и guidance scale. Модель подходит для создания реалистичных портретов и других изображений по текстовым промптам. В примере указаны изображения 512×512 и 30 шагов генерации; API также принимает настройки seed, улучшения промпта и повышения разрешения. В метаданных указан формат Diffusers/PyTorch и лицензия CreativeML OpenRAIL-M. Карточка не сообщает точную архитектуру, число параметров или контекст; использовать можно через API ModelsLab, получив API-ключ.
ChilloutMix — модель семейства Stable Diffusion от Yntec для генерации изображений по текстовым запросам. Карточка приводит пример запроса для создания стилизованной иллюстрации персонажа в игровой комнате; метаданные указывают на использование Diffusers и форматов Diffusers и safetensors. Модель подходит для создания художественных изображений по описанию сцены и стиля. В README также упомянуты варианты ChilloutMixMini без EMA и ChilloutMixVAE со встроенным zVAE. Модель распространяется по лицензии CreativeML Open RAIL-M. Карточка не сообщает размер модели, длину контекста и поддерживаемые языки. Пример показывает стилизованную иллюстрацию, но README не описывает качество или ограничения генерации.
DFloat11/Chroma-DF11 — это сжатая без потерь версия модели lodestones/Chroma v39, подготовленная с использованием технологии DFloat11. Модель предназначена для генерации изображений по текстовому описанию через pipeline_tag text-to-image и совместима с библиотекой Diffusers. Разработчик исходной модели — lodestones, а DFloat11 — технология и реализация сжатия от команды LeanModels. DFloat11 кодирует экспонентные биты весов BFloat16 с помощью Huffman coding и выполняет распаковку непосредственно на GPU через CUDA kernel. Размер модели уменьшен с 17,80 до 12,16 ГБ, то есть примерно на 32%, а пиковое потребление видеопамяти при генерации изображения 1024×1024 — с 18,33 до 13,26 ГБ. Модель сохраняет bit-identical outputs относительно исходной версии BFloat16 и может работать на одной GPU с 16 ГБ памяти. На A100 генерация занимает около 59 секунд против 56 секунд у исходной модели. Для работы требуются CUDA-совместимая GPU, PyTorch, пакет dfloat11 с поддержкой CUDA 11 или CUDA 12 и актуальная версия Diffusers. В README не указаны точная архитектура, число параметров, поддерживаемые языки, дополнительные модальности или лицензия. Основное преимущество — существенное сокращение размера и потребления видеопамяти без потери качества и точности вывода; ограничениями являются зависимость от CUDA и необходимость специальной интеграции DFloat11.
Yntec/elldrethSLucidMix — модель генерации изображений по текстовым описаниям на базе Stable Diffusion, опубликованная пользователем Yntec. Репозиторий содержит веса в форматах Diffusers, PyTorch и safetensors; в карточке также указано, что в модель встроен zVAE. Модель предназначена для создания иллюстраций по промптам. Пример в карточке показывает стилизованный портрет девушки в стиле чиби, с детализированными глазами, волосами и одеждой. Указанная лицензия — CreativeML OpenRAIL-M. Карточка не приводит сведений о размере модели, контексте или поддерживаемых естественных языках.
redstonehero/epicrealism_pureevolutionv5-inpainting — модель генерации изображений, опубликованная пользователем redstonehero на Hugging Face. Она предназначена для создания изображений по текстовому описанию и работает через StableDiffusionPipeline в библиотеке Diffusers. Модель распространяется в формате Safetensors; в метаданных указано около 0,9 млрд параметров. Карточка Hugging Face классифицирует её как text-to-image и не подтверждает отдельный режим редактирования изображений или набор поддерживаемых естественных языков. Практический сценарий — локальная генерация изображений по промптам с использованием Diffusers. Лицензия модели — CreativeML OpenRAIL-M. Ограничения и точные сведения о датасете, архитектурной базе, контексте, языках промптов и качестве результатов в доступной карточке модели не описаны.
Fenn Photo — модель генерации изображений по текстовому описанию, опубликованная пользователем Yntec и основанная на Stable Diffusion. Карточка содержит пример промпта для создания студийного макрофото фигурки персонажа Rinoa Heartilly; теги также указывают на реалистичный и кинематографичный стиль. Модель предназначена для создания изображений по англоязычным промптам. Она распространяется в форматах Diffusers и Safetensors по лицензии CreativeML OpenRAIL-M. Карточка не сообщает о размере модели, длине контекста или специальных ограничениях применения.
Generate Me! — модель генерации изображений по текстовому описанию на базе Stable Diffusion для создания персонажей и стилизованных иллюстраций. Веса представлены в формате Diffusers и SafeTensors; в модель встроен VAE MoistMixV2. Примеры в карточке охватывают портреты, манга-арт, фотореалистичные сцены и милых фантастических персонажей. Модель подходит для генерации изображений по промптам с описанием внешности, одежды, стиля и окружения. Лицензия — CreativeML OpenRAIL-M; её условия следует учитывать при использовании и распространении результатов.
Aybeeceedee создал knollingcase — модель генерации изображений, обученную методом DreamBooth на базе Stable Diffusion с помощью fast-DreamBooth notebook от TheLastBen. Чтобы получить характерную композицию в стиле knolling, добавьте в текстовый запрос слово «knollingcase». В примерах показаны изометрические сцены и предметы, разложенные как технические схемы, с подписями, оверлеями и мелкими деталями. Модель принимает текстовые запросы и создаёт изображения через Diffusers. Карточка приводит примеры использования с AUTOMATIC1111 и Dynamic Prompt. Репозиторий распространяется под лицензией CreativeML OpenRAIL-M.
Solstice V1 — производная от Krea 2 Turbo модель генерации изображений, опубликованная Raxephion. Она предназначена для создания изображений по текстовым описаниям с акцентом на кинематографичный фотореализм, гармоничную композицию и выразительную подачу объектов. По сравнению с базовой моделью она стремится передавать фантастические и стилизованные сцены как фотографии, а не иллюстрации или компьютерную графику. Модель подходит для портретов, фэнтези, киберпанка, экшена, неонуара и редакционных изображений. Она ориентируется на естественное кинематографичное освещение, насыщенную цветовую гамму, детализацию кожи, волос, ткани, металла и стекла, а также на ясную иерархию объектов в кадре. В README заявлена хорошая точность следования промпту и совместимость с LoRA персонажей. Доступны варианты FP8, BF16 и INT8 ConvRot; метаданные указывают библиотеку Diffusers и формат safetensors. Solstice основана на Krea 2 Turbo и создана с использованием независимо обученных LoRA, отобранных и объединённых с базовой моделью. Для использования применяются условия лицензии KREA 2; перед использованием весов следует ознакомиться с её официальными условиями. Автор отмечает, что возможности версии V1 для NSFW-контента нестабильны.
Карточка модели lmms-lab/llava-onevision-qwen2-72b-ov-sft на Hugging Face совпадает с карточкой lmms-lab/llava-onevision-qwen2-72b-si, поэтому описание составлено по ней. LLaVA-OneVision — мультимодальная модель семейства LLaVA, разработанная LMMS-Lab и основанная на языковой модели Qwen2. Версия с 71,5 млрд параметров сочетает визуальный энкодер SO400M с языковой моделью и принимает текстовые запросы вместе с изображениями, несколькими изображениями или видео для диалогового взаимодействия и генерации текста. Модель предназначена для описания и анализа визуального содержимого в сценариях с одним или несколькими изображениями, а также с видео. Модель обучалась на наборах данных LLaVA-OneVision в несколько этапов, включая обучение на данных изображений, нескольких изображений и видео. Она поддерживает английский и китайский языки, использует контекстное окно в 32 768 токенов и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Для запуска модели такого размера требуются значительные вычислительные ресурсы; README не приводит оценки качества или подробностей ограничений распознавания отдельных типов визуального содержимого.
Project K (Kawai) — модель для генерации изображений по текстовому описанию, представленная Yntec. Это версия с разрешением 768×768 для inference API; в README также упоминается версия v5 с разрешением 512×512. Метаданные указывают на библиотеку diffusers, формат safetensors и совместимость с Stable Diffusion Pipeline. Модель предназначена для создания изображений в аниме-стиле, включая персонажей и сцены, а также пейзажи. В примерах показаны как аниме-персонажи, так и городские виды; среди стилевых ориентиров есть чиби и акриловая живопись. Язык тегов модели — английский. Лицензия обозначена как other; README просит проверять условия на исходной странице модели, поэтому условия использования этой копии следует уточнить там. По приведённым сведениям нельзя установить точный размер модели или её базовый чекпойнт.
ProteusV0.2 — модель генерации изображений по текстовому описанию от автора dataautogpt3. Она основана на OpenDalleV1.1, дообученной на наборах подписей к изображениям и предпочтений, а затем объединённой с RealCartoonXL для улучшения понимания запросов об аниме и мультяшном стиле. Модель использует архитектуру Stable Diffusion XL и распространяется в форматах Diffusers, PyTorch и Safetensors. Модель предназначена для создания изображений в разных стилях, включая фотореализм, сюрреализм, аниме и мультфильмы. В карточке отмечены улучшенное следование текстовым запросам, детализация лиц и реалистичные текстуры кожи. Автор рекомендует CFG 7–8, 20–60 шагов, сэмплер DPM++ 2M SDE и разрешение 1024×1024 или 1280×1280. Лицензия — GPL-3.0. Качество результата зависит от формулировки запроса и настроек генерации; заявленные преимущества основаны на описании автора.
ProteusV0.4 — модель генерации изображений по тексту от dataautogpt3, основанная на OpenDalleV1.1 и дообученная для улучшения визуального стиля. В README описано обучение на более чем 400 тысячах изображений, включая около 220 тысяч изображений с подписями GPTV и 10 тысяч пар изображений, использованных для DPO; также упоминается выборочное применение обученных LoRA-компонентов. Репозиторий предоставляет модель в форматах Diffusers, PyTorch и Safetensors для StableDiffusionXLPipeline. Модель предназначена для создания изображений по текстовым запросам, с акцентом на эстетические стили, реалистичные черты лица и текстуру кожи, а также сюрреалистичные, аниме- и мультяшные изображения. README рекомендует CFG 4–6, 20–60 шагов и разрешение 1024×1024 или 1280×1280. Указана лицензия GPL-3.0. Автор характеризует обновление V0.4 как преимущественно стилистическое: улучшение понимания сложных запросов не является его основным направлением.
Disty0/Qwen-Image-2512-SDNQ-4bit-dynamic — это динамически квантованная версия модели генерации изображений Qwen/Qwen-Image-2512, подготовленная пользователем Disty0 с использованием технологии SDNQ. Модель предназначена для преобразования текстовых описаний в изображения через QwenImagePipeline библиотеки Diffusers и может применяться для создания изображений с различными соотношениями сторон. Квантование выполняется по слоям с подбором типа данных на основе нормированной среднеквадратичной ошибки. Используется смешанная точность с типами int4, uint4, int5, float4_e3m0fn и float5_e3m1fn; минимальная разрядность составляет 4 бита, а порог ошибки — 1e-2. SVD-квантование отключено. Размер модели сокращён примерно с 40,9 ГБ в исходной BF16-версии до 12,0 ГБ. README не указывает архитектуру исходной модели, число параметров, поддерживаемые языки и максимальный контекст. Для работы требуются Python-пакет sdnq, PyTorch и Diffusers; предусмотрены оптимизации quantized matmul для GPU AMD, Intel ARC и Nvidia при доступности Triton. Доступны CPU offload и опциональная компиляция transformer-модуля. Ключевое преимущество — существенное уменьшение размера при сохранении сценария использования исходной модели, однако квантование может влиять на качество генерации и совместимость зависит от поддерживаемого программного и аппаратного окружения. Модель распространяется по лицензии Apache-2.0.