I.10Видео, анимация и 3D
В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
3 279 моделейscenario-labs/juggernaut_reborn — модель преобразования текста в изображение, подготовленная на основе Juggernaut. Модель предназначена для генерации изображений по текстовым описаниям. Модель распространяется для использования через библиотеку Diffusers и совместима с StableDiffusionPipeline; веса представлены в формате safetensors. Данные о размере модели, поддерживаемых естественных языках, длине контекста и лицензии в предоставленных источниках отсутствуют.
Molmo2-4B — открытая мультимодальная модель семейства Molmo2, разработанная Allen Institute for AI (Ai2). Она предназначена для диалога о визуальных данных: модель анализирует изображения, несколько изображений и видео, отвечает на вопросы и связывает текстовые описания с объектами и событиями в кадре. В числе заявленных сильных сторон — короткие видео, подсчёт объектов и создание подписей; на длинных видео модель показывает конкурентные результаты среди моделей сопоставимого размера. Модель объединяет языковую основу Qwen3-4B-Instruct-2507 с визуальной частью на базе SigLIP 2; архитектура — плотная Molmo2ForConditionalGeneration. Репозиторий содержит веса Safetensors и рассчитан на использование через Transformers. Обучение использовало общедоступные сторонние наборы данных и тщательно отобранные пары изображение–текст и видео–текст. Лицензия — Apache-2.0.
Photo Movie X Final — дообученная на базе Yntec/photoMovieX модель Stable Diffusion от Yntec для создания изображений по текстовым описаниям. Примеры в карточке ориентированы на реалистичные портреты, кинематографичные сцены и иллюстрации с детализированной, выразительной стилизацией. Модель принимает текстовые запросы и генерирует изображения. Она распространяется в формате Diffusers с весами safetensors; лицензия — CreativeML OpenRAIL-M. Карточка не сообщает размер модели или длину контекста.
RunDiffusionFXPhotorealistic_v1 — модель генерации изображений по текстовому описанию, опубликованная пользователем digiplay. В README она представлена как модель для фотореалистичной генерации, описанная автором как достаточно стабильная; карточка также содержит демонстрационные изображения первоначального автора. Модель распространяется в форматах Diffusers, PyTorch и safetensors и предназначена для создания реалистичных изображений по текстовым запросам. Репозиторий помечен как основанный на Stable Diffusion и использует StableDiffusionPipeline. Лицензия указана как other, поэтому конкретные условия использования следует проверять в файлах репозитория.
questcoast/SD-Kurzgesagt-style-finetune — дообученная методом DreamBooth модель Stable Diffusion 1.5 для генерации изображений в стиле Kurzgesagt. Она обучена на кадрах из видео Kurzgesagt; для получения стилистического эффекта в запросе рекомендуется использовать токены «_kurzgesagt style_». Модель принимает текстовые описания и генерирует изображения через StableDiffusionPipeline в формате Diffusers/PyTorch. Указанная лицензия — CreativeML OpenRAIL-M.
facebook/timesformer-base-finetuned-k600 — модель Meta на базе архитектуры TimeSformer, дообученная для классификации видео на наборе Kinetics-600. Она принимает видеокадры и относит ролик к одной из 600 категорий действий Kinetics-600, поэтому подходит для распознавания действий и тематической сортировки коротких видео. Модель содержит 113,2 млн параметров и распространяется в формате PyTorch. TimeSformer применяет пространственно-временное внимание для анализа содержания видео. Карточка указывает на классификацию по меткам Kinetics-600; сведений о поддержке других языков или задач не приведено. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
Kandinsky 2.2 ControlNet Depth — модель генерации изображений по текстовому описанию с управлением через карту глубины. Модель Kandinsky разработана Арсением Шахматовым, Антоном Ражжигаевым, Александром Николичем, Игорем Павловым, Андреем Кузнецовым и Денисом Димитровым. Карточка показывает использование через KandinskyV22ControlnetPipeline в Diffusers. Архитектура сочетает image prior на основе CLIP, латентную диффузионную UNet-модель и декодер MoVQGAN. Карта глубины задаёт пространственную структуру изображения, а текстовый запрос — его содержание и стиль; также поддерживается преобразование исходного изображения с ControlNet conditioning. Обучение Kandinsky 2.2 использовало наборы LAION и дополнительные высококачественные изображения. Модель поддерживает генерацию изображений с разрешением до 1024 × 1024 и различными пропорциями. Модель распространяется под лицензией Apache-2.0. Карточка не приводит точный размер параметров и длину контекста; для использования требуются совместимые компоненты Diffusers.
ControlNet Depth — модель, разработанная Lvmin Zhang и Maneesh Agrawala. Это дополнительная нейросетевая структура для управления генерацией изображений на основе Stable Diffusion v1.5 с помощью условного входа, содержащего информацию о глубине сцены. Модель предназначена для генерации и преобразования изображений по текстовому описанию с сохранением пространственной композиции и геометрии исходного изображения. В качестве управляющего сигнала используется градационное изображение глубины, полученное с помощью оценки глубины MiDaS: чёрный цвет соответствует более удалённым областям, белый — близким. Модель относится к диффузионным моделям text-to-image и применяется совместно с Stable Diffusion, в том числе в сценариях image-to-image. В README указано, что поддерживается английский язык. Архитектурные размеры, объём параметров, размер контекста и точный набор поддерживаемых модальностей не приведены. Сильная сторона модели — возможность точнее контролировать структуру, перспективу и глубину генерируемой сцены по сравнению с использованием одного текстового запроса. Ограничение заключается в зависимости от базовой модели Stable Diffusion v1.5 и качества входной карты глубины; модель предназначена именно для управления генерацией по глубине, а не для универсального редактирования. Лицензия — CreativeML OpenRAIL M, основанная на Open RAIL M.
BAAI/URSA-1.7B-FSQ320 — модель генерации и редактирования видео по текстовым запросам из семейства BAAI-Vision-URSA, разработанная BAAI. Она дообучена на базе Qwen/Qwen3-1.7B и использует дискретную диффузию; размер модели — 1,7 млрд параметров, точность FP16. Модель работает с видео разрешением 512×320 и запускается через библиотеку Diffusers. URSA предназначена для исследований генеративных моделей, а также для создания видеоматериалов в образовательных и творческих инструментах, дизайне и художественных проектах. Лицензия — Apache-2.0. Модель не гарантирует достоверного изображения людей и событий, не обеспечивает фотореализм и плохо генерирует сложный читаемый текст и детали вроде пальцев. Автокодирование приводит к потерям; обучающие данные включают контент для взрослых и сцены насилия, поэтому возможны предвзятость и небезопасные результаты.
Animov 0.1.1 — модель генерации видео по текстовому описанию для библиотеки Diffusers, созданная strangeman3107 путём дообучения исходной модели ModelScope для получения аниме-стиля. Она предназначена для создания коротких аниме-видео по текстовым запросам. Модель обучалась с разрешением 448×384; способ использования соответствует исходной модели ModelScope. Репозиторий распространяется в форматах Diffusers и PyTorch по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. В README отмечено, что по сравнению с версией 0.1 изменилось только разрешение.
Anyto3DDonghuaStyle — LoRA-адаптер, разработанный WarmBloodAban для редактирования изображений на базе Qwen/Qwen-Image-Edit-2511. Модель предназначена для преобразования различных исходных изображений, включая реалистичные фотографии и 2D-иллюстрации, в стилистику высококачественной 3D-дунхуа — китайской анимации. Она поддерживает сценарии однокнопочной стилизации и ориентирована на сохранение исходной композиции при добавлении выразительного освещения и детализированных текстур. Адаптер дообучен на Qwen2-VL-7B-Instruct (Image Edit) с использованием 89 отобранных пар изображений в HD-качестве. Для активации рекомендуется использовать триггер «transform into 3d style», а рекомендуемая сила LoRA составляет 0,8–1,0. В README не указаны точные сведения о поддерживаемых языках, размере контекста и полном наборе модальностей базовой модели; заявлены текстовое управление и обработка изображений. К сильным сторонам относятся высокая детализация результата, яркое освещение и хорошее сохранение композиции. Ограничения модели отдельно не описаны, поэтому качество может зависеть от исходного изображения, параметров силы адаптера и совместимости с базовой моделью. Модель распространяется по лицензии Apache-2.0.
xinsir/controlnet-depth-sdxl-1.0 — модель ControlNet для Stable Diffusion XL, разработанная автором или организацией xinsir. Она предназначена для генерации изображений по текстовому описанию с дополнительным управлением композицией и пространственной структурой сцены на основе карты глубины. Модель совместима с StableDiffusionXLControlNetPipeline и базовой моделью stabilityai/stable-diffusion-xl-base-1.0. Для подготовки карты глубины в README указана поддержка детекторов Zoe и MiDaS. Рекомендуется использовать разрешение 1024×1024 или близкое к нему bucket-разрешение; в примере применяется 30 шагов инференса и возможна работа в формате float16. Размер модели, точная архитектура, перечень языков и максимальная длина текстового контекста не указаны. Для работы требуются базовая SDXL-модель, совместимый VAE и отдельный препроцессор глубины, поэтому качество зависит от исходного изображения, карты глубины и выбранной базовой модели. Лицензия — Apache-2.0.
DreamWorks — модель генерации изображений по текстовому описанию, размещённая пользователем Yntec. Карточка показывает пример промпта для создания кинематографичного CGI-изображения в стилистике анимационных фильмов: персонаж играет с сестрой во дворе в солнечный день. Модель предназначена для генерации иллюстраций с визуальной подачей, напоминающей CGI и мультфильмы DreamWorks или Pixar. Репозиторий использует Diffusers и содержит веса в формате safetensors. Лицензия — CreativeML Open RAIL-M.
microsoft/git-base-vatex — модель GIT (Generative Image-to-Text), разработанная Microsoft и дообученная на наборе VATEX. Это декодер-трансформер, который принимает токены изображения, полученные CLIP, и текстовые токены и генерирует следующий текстовый токен. Версия GIT-base предварительно обучалась на 10 миллионах пар изображение–текст; в репозитории доступны веса в форматах PyTorch и Safetensors. Размер модели — 80,1 млн параметров, максимальный контекст — 1024 токена. Модель предназначена прежде всего для генерации описаний к видео. Архитектура также подходит для описания изображений, визуальных вопросов и ответов по изображениям или видео и текстовой классификации изображений. Обучение на VATEX ориентирует этот вариант на подписи к видео; карточка не приводит отдельной оценки качества. Модель принимает изображения и текст и генерирует текст. Указанный в карточке язык — английский. Лицензия MIT.
AlperKTS/Krea-2-SVDQuant-ComfyUI — это набор квантизированных контрольных точек модели Krea 2, подготовленный для ComfyUI на базе Comfy-Org/Krea-2. Модель предназначена для генерации изображений по текстовому описанию и доступна в вариантах Krea 2 Turbo и базовой версии. Turbo является дистиллированным вариантом и рассчитан на генерацию за 8 шагов, тогда как базовая версия использует примерно 50 шагов и CFG 3.5. Основная особенность проекта — квантизация SVDQuant и native W4A4/INT4, уменьшающая размер файлов и ускоряющая работу по сравнению с распространённой версией FP8. Доступны standalone-варианты DiT размером около 7,5–9,1 ГБ, а также объединённая контрольная точка размером 12,77 ГБ, содержащая DiT, 4-битный текстовый энкодер Qwen3-VL 4B и VAE. Поддерживаются рабочие процессы ComfyUI, включая использование LoRA в вариантах с rank 256. Проект ориентирован на современные видеокарты NVIDIA с tensor cores, начиная с RTX 20-й серии. Для работы требуется сборка PyTorch с CUDA 13 или новее; при использовании более старых сборок квантизированные модели могут перейти на медленный Python-бэкенд. В README не указаны полный перечень поддерживаемых языков, максимальный контекст или точные архитектурные размеры базовой модели. Модель распространяется по лицензии Krea 2 Community License; условия приведены по ссылке https://www.krea.ai/krea-2-licensing.
MirageML/lowpoly-cyberpunk — модель генерации изображений на основе Stable Diffusion, дообученная методом DreamBooth для создания изображений в концепции low-poly киберпанка. Для генерации укажите в запросе ключевую фразу «a photo of lowpoly_cyberpunk» вместе с описанием желаемой сцены. Модель предназначена для создания стилизованных изображений по текстовому описанию; в карточке также упоминается возможность исследовать преобразование текста в 3D через платформу Mirage. Модель распространяется в формате Diffusers/PyTorch с весами Safetensors. Лицензия — CreativeML OpenRAIL-M. Карточка не сообщает размер модели, длину контекста и конкретные ограничения качества; результат зависит от формулировки запроса и усвоенной концепции.
Min-Illust-Background-Diffusion — дообученная модель Stable Diffusion v1.5 от ProGamerGov для генерации иллюстративных фонов и пейзажей в стиле художника Sin Jong Hun. Чтобы усилить стиль, добавьте в текстовый запрос токен «sjh style». Модель принимает текстовые запросы и создаёт изображения; для применения используется Diffusers. Обучение проведено в 2250 итераций с сохранением предыдущих знаний и включало 4120 регуляризационных изображений. Модель опубликована под лицензией CreativeML OpenRAIL-M.
Yntec/mistoonAnime2 — модель генерации изображений по текстовому описанию, опубликованная пользователем Yntec. Она предназначена для создания иллюстративных изображений в аниме- и мультяшной стилистике. Репозиторий содержит веса в формате safetensors для запуска через Diffusers; карточка демонстрирует пример промпта с описанием персонажа и художественного оформления. Модель создана на основе Stable Diffusion и рассчитана на генерацию изображений по текстовым промптам. В метаданных указана лицензия CreativeML OpenRAIL-M. README не сообщает точный размер модели, контекст или подробные результаты оценки качества.
mo-di-bear-guitar — дообученная модель на основе nitrosocke/mo-di-diffusion, подготовленная авторами Tune-A-Video-library для генерации видео по текстовому запросу. Обучающий запрос описывает медведя, играющего на гитаре; примеры показывают персонажей в современном диснеевском анимационном стиле. Модель предназначена для создания коротких стилизованных видео по текстовым описаниям, в частности сцен с персонажем, играющим на гитаре. Репозиторий содержит веса в форматах Diffusers и PyTorch и использует библиотеку Diffusers. Лицензия — CreativeML OpenRAIL-M.
nunchaku-ai/nunchaku-z-image-turbo — это квантизированная версия модели Z-Image-Turbo, разработанная командой Nunchaku. Модель предназначена для генерации и преобразования изображений и интегрируется с библиотекой Diffusers, а также поддерживает использование через ComfyUI. Квантизация выполнена с применением метода SVDQuant и оптимизирована для эффективного вывода при минимальной потере качества. Для видеокарт до 50-й серии NVIDIA предусмотрен формат INT4, а для архитектуры Blackwell и видеокарт 50-й серии — NVFP4. Доступны варианты с рангами r32, r128 и r256: меньший ранг обеспечивает более быструю работу, а больший — более высокое качество при увеличении времени вывода. README не указывает размер модели, максимальный контекст, набор поддерживаемых языков для ввода или точный набор модальностей; в метаданных заявлен английский язык. Сильной стороной модели является снижение вычислительных затрат и ускорение инференса по сравнению с исходной Z-Image-Turbo при сохранении близкого качества. Ограничения связаны с зависимостью производительности от совместимого GPU, формата данных и выбранного ранга, а также с тем, что высококачественные варианты работают медленнее. Модель распространяется по лицензии Apache-2.0.
OTTER-Video-LLaMA7B-DenseCaption — модель семейства OTTER, представленная авторами из S-Lab Наньянского технологического университета и Microsoft Research. Карточка показывает пример запуска модели на пользовательском видео; модель предназначена для генерации текстовых описаний видеосодержимого. Модель использует архитектуру OtterForConditionalGeneration и распространяется в формате PyTorch. Репозиторий указывает лицензию MIT. В предоставленных сведениях нет размера модели, сведений о поддерживаемых языках или длине контекста; название указывает на вариант 7B, но это не подтверждено метаданными.
spitfire4794/photo — репозиторий с моделью генерации фотореалистичных изображений dreamlike-photoreal-2.0 в формате Stable Diffusion. Модель предназначена для создания изображений по текстовому описанию; в качестве примеров указаны кинематографические сцены и имитация фотосъёмки с объективом GoPro или «рыбий глаз». Для работы доступны файлы checkpoint и safetensors, а также вариант для библиотеки diffusers с конвейером StableDiffusionPipeline. Карточка не сообщает базовую модель, число параметров и длину контекста. Указана лицензия other, поэтому конкретные условия использования следует уточнять по лицензии репозитория.
sexy_toon_3d_v2 — модель генерации изображений по текстовому описанию, опубликованная Stable Diffusion API. Карточка показывает использование через API и пример настройки промпта, негативного промпта, размера изображения, числа шагов генерации и guidance scale; для генерации можно также задавать seed и подключать embeddings или LoRA. Модель ориентирована на создание стилизованных изображений с трёхмерной мультяшной эстетикой; пример в карточке использует портретный промпт. Репозиторий содержит файлы в форматах Diffusers и PyTorch. Лицензия — CreativeML OpenRAIL-M, которая устанавливает условия использования и ограничения на применение модели.
DFloat11/stable-diffusion-3.5-large-DF11 — это без потерь сжатая версия модели stabilityai/stable-diffusion-3.5-large, подготовленная с использованием формата DFloat11. Она предназначена для генерации изображений по текстовому описанию и сохраняет идентичные исходной модели BFloat16 результаты на уровне битов. Основное преимущество модели — уменьшение размера примерно с 16 до 11,3 ГБ, что позволяет запускать её на видеокартах с 16 ГБ памяти. DFloat11 использует кодирование экспонент BFloat16 методом Хаффмана и аппаратно-ориентированную распаковку непосредственно на GPU во время матричных операций. Сжатые веса остаются в памяти GPU, что снижает требования к памяти без потери точности; заявленная производительность лишь незначительно ниже полной версии. Для работы требуются CUDA-совместимая видеокарта, PyTorch, пакет diffusers и пакет dfloat11 с поддержкой CUDA 11 или CUDA 12. Модель рассчитана на использование через StableDiffusion3Pipeline и может применяться в условиях ограниченного объёма видеопамяти. Языки, максимальный контекст и лицензия в README не указаны.
4x_foolhardy_Remacri — модель увеличения разрешения изображений в 4 раза, размещённая LyliaEngine. В README указано, что исходный апскейлер создан FoolhardyVEVO; также приведены ссылки на OpenModelDB и Civitai. Модель предназначена для использования в Stable Diffusion и ComfyUI через каталоги ESRGAN или upscale_models, в том числе для повышения качества изображений во вкладках Hi-Res и Extras. Техническая архитектура, количество параметров, поддерживаемые языки и модальности в README не указаны. Назначение модели — апскейлинг уже созданных изображений, а не генерация изображений по текстовому запросу, несмотря на метаданные репозитория с тегами text-to-image и lora. Условия использования описаны неоднозначно: в метаданных указана лицензия CDLA-Permissive-2.0, тогда как в основном тексте README приведена CC-BY-NC-SA-4.0. Перед использованием необходимо уточнить, какая лицензия имеет приоритет.
AllInOne XL v12.5 — модель генерации изображений по текстовому описанию на базе семейства Stable Diffusion XL. Её создал Bl4ckSpaces, объединив 13 моделей SDXL; среди указанных в метаданных базовых моделей — NoobAI XL, Pony Diffusion V6 XL, Illustrious XL и SDXL Base 1.0. Репозиторий использует библиотеку Diffusers и формат safetensors. Модель предназначена для создания изображений в стилях аниме, 2.5D, 3D-рендера и фотореализма. В README заявлены отдельное смешивание признаков для анатомии и поз, освещения и фактур, а также гибкости следования запросу. Для выбора стиля рекомендуются выразительные стилевые теги; указаны настройки генерации: 25–40 шагов и CFG 7–9. README также заявляет, что версия 12.5 улучшает цветопередачу при запросах без стилевых тегов и включает стабилизацию VAE. Эти характеристики описаны автором и не сопровождаются независимыми оценками. Модель распространяется по лицензии OpenRAIL; ограничения лицензии следует учитывать при использовании.
diffusers/controlnet-depth-sdxl-1.0-small — экспериментальная модель ControlNet, разработанная сообществом Hugging Face/diffusers для совместного использования с SDXL и stable-diffusion-xl-base-1.0. Она предназначена для генерации и преобразования изображений по текстовому описанию с управлением пространственной композицией через карту глубины, полученную из исходного изображения с помощью Intel/dpt-hybrid-midas. Это позволяет сохранять структуру сцены и относительное расположение объектов при создании нового изображения. Модель представляет собой уменьшенную версию ControlNet для SDXL: её контрольные веса примерно в семь раз меньше оригинального XL-чекпойнта. Архитектура не содержит attention-блоков и не использует дистилляцию; меньшая ControlNet была инициализирована из UNet SDXL. В README не указаны точное число параметров, максимальный контекст или набор поддерживаемых языков. Для работы используются текстовая и визуальная модальности, SDXL pipeline, FP16 и компоненты библиотеки Diffusers. Сильной стороной модели является относительно компактный размер при сохранении управления генерацией по глубине; она хорошо работает с большинством обычных conditioning-изображений. Ограничения включают экспериментальный статус и более низкое качество на сложных условиях по сравнению с крупными чекпойнтами. Для настройки результата рекомендуется изменять controlnet_conditioning_scale и guidance_scale. Модель распространяется по лицензии openrail++.
Disney Pixar Cartoon — модель генерации изображений по текстовому описанию, размещённая аккаунтом stablediffusionapi и доступная через API ModelsLab. В качестве примера карточка предлагает создавать портреты и другие изображения с мультфильмной стилизацией; запрос можно дополнить отрицательным описанием, чтобы исключить нежелательные детали. Метаданные указывают на формат Diffusers и PyTorch, а также лицензию CreativeML OpenRAIL-M. Модель подходит для создания иллюстраций и персонажей в стилистике семейной компьютерной анимации. Пример API-запроса предусматривает изображения размером 512 × 512 пикселей и 30 шагов генерации. Карточка не сообщает размер базовой модели, длину контекста или поддерживаемые языки; параметр мультиязычного режима в примере выключен. Результаты зависят от текстового запроса, а API требует ключ ModelsLab. Лицензия — CreativeML OpenRAIL-M; условия использования следует сверять с её текстом и правилами сервиса.
dreamlike-photoreal-2.0 — модель генерации изображений по текстовому описанию от dreamlike.art, основанная на Stable Diffusion. Она предназначена для создания фотореалистичных изображений по промптам; пример в карточке показывает пейзаж с церковью при ярком кинематографическом освещении. Модель доступна в форматах Diffusers, PyTorch и safetensors, а также как файл CKPT. Для запуска используется StableDiffusionPipeline из библиотеки Diffusers; в примере модель загружается с точностью float16 и запускается на CUDA. Лицензия указана как other, поэтому условия использования следует уточнить на странице модели. Карточка не приводит сведений о контексте или поддерживаемых языках, кроме английского в метаданных.
BAAI/Emu3-Gen-hf — мультимодальная авторегрессионная модель команды Emu3 из BAAI, обученная с нуля на предсказании следующего токена. Она представляет изображения и текст в дискретном пространстве токенов и использует архитектуру Transformer. Модель предназначена для генерации изображений по текстовому запросу, понимания визуального содержимого и связных текстовых ответов; также семейство Emu3 поддерживает причинную генерацию и продолжение видео. Модель принимает текст и изображения и может выдавать текст и изображения; в карточке также описана работа с видео. В метаданных указаны английский язык и библиотека формата весов Safetensors. Репозиторий распространяется по лицензии Apache-2.0. Для запуска README рекомендует Transformers версии 4.48.0 или новее; генерацию в float16 можно ускорить с Flash Attention 2. Ограничение доступных сведений: конкретные размер модели и длина контекста не приведены.