I.10Видео, анимация и 3D
В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
3 279 моделейPerceptionDLM — мультимодальная диффузионная языковая модель, разработанная MSALab на основе MSALab/PerceptionDLM-Base. Она предназначена для параллельного описания областей изображения: модель принимает изображение и несколько масок областей и генерирует описание каждой области за один процесс денойзинга. Поддерживается до шести областей на изображение; региональные подсказки и структурированная маска внимания помогают обрабатывать их одновременно. Модель ориентирована на плотное описание сцен и восприятие отдельных регионов, где последовательная генерация может быть медленной. В тестах ParaDLC-Bench авторы сообщают о качестве 62,4% и ускорении до 3,44 раза в сценариях с множеством регионов по сравнению с авторегрессионными подходами. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.
ProteusV0.4-Lightning — модель генерации изображений по текстовому описанию от dataautogpt3, основанная на OpenDalleV1.1 и построенная для Stable Diffusion XL. Версия Lightning ориентирована на выразительный стиль и быструю генерацию: в карточке рекомендуются 4–10 шагов, CFG 1–2 и разрешение 1024×1024 или 1280×1280. Модель дообучена на более чем 400 тысячах изображений; в README также описаны настройка на изображениях с подписями, DPO на парах сгенерированных изображений и включение отдельных LoRA в основную модель. Она предназначена для создания разнообразных иллюстраций, включая сюрреалистичные, аниме и мультяшные изображения, а также изображений с детализированными лицами и реалистичной текстурой кожи. Репозиторий предоставляет веса в форматах Diffusers, PyTorch и Safetensors. Лицензия — GPL-3.0.
Revanimated — модель генерации изображений по текстовому описанию, доступная через ModelsLab и представленная на Hugging Face в форматах Diffusers и PyTorch. В примере карточки предлагается создавать портреты и цифровые иллюстрации с помощью текстового запроса; доступны настройки размера изображения, числа шагов генерации, seed и guidance scale, а также подключение embeddings и LoRA. Модель предназначена для генерации изображений по промптам, включая портреты, стилизованные иллюстрации и изображения с аниме- или концепт-арт элементами. Карточка показывает пример вызова через API ModelsLab; это пример настройки сервиса, а не самостоятельная инструкция по локальному запуску весов. В репозитории указана лицензия CreativeML OpenRAIL-M. Карточка не приводит размер модели, контекст или поддерживаемые естественные языки; в примере параметр multi_lingual выключен. Качество зависит от промпта и настроек генерации; в примере можно отключить safety checker, поэтому при использовании следует учитывать применимые правила работы с контентом.
refiners/sdxl.lightning.1step.unet — модель на основе ByteDance/SDXL-Lightning, опубликованная в формате safetensors для библиотеки refiners. Она предназначена для преобразования изображений (image-to-image) и связана с семейством Stable Diffusion XL. Базовая SDXL-Lightning оптимизирована для быстрой генерации изображений за 1–8 шагов; карточка этой модели отдельно не уточняет её размер, контекст или поддерживаемые языки. Модель распространяется по лицензии OpenRAIL++. Метаданные указывают на английский язык карточки, но не подтверждают, что он является основным языком запросов. README содержит только заголовок, поэтому дополнительные сценарии, качество, ограничения и точные характеристики самой модели определить нельзя.
Stable Diffusion 2.1 UnCLIP Small — диффузионная модель генерации и изменения изображений, опубликованная как зеркало устаревшего репозитория Stability AI. В карточке разработчиками названы Робин Ромбах и Патрик Эссер; владелец зеркала отмечает, что не связан со Stability AI. Модель дообучена на Stable Diffusion 2.1 и использует латентную диффузию с фиксированным текстовым энкодером OpenCLIP-ViT/H. Модель принимает текстовый запрос и может дополнительно использовать зашумлённый эмбеддинг изображения. Это позволяет создавать варианты изображения или использовать модель в связке с текстово-изобразительными CLIP-prior-моделями; уровень шума задаётся параметром noise_level. Для работы предусмотрена библиотека Diffusers. Основной язык запросов — английский. Модель подходит для творческой генерации, дизайна и экспериментов с генеративными моделями. Она не гарантирует фотореализм, часто ошибается при отрисовке текста, сложных пространственных отношений, лиц и людей; качество запросов на других языках ниже. Лицензия — CreativeML Open RAIL++-M; карточка описывает ограничения и недопустимые сценарии использования.
kostakoff/stable-diffusion-v1-5-GGUF — набор квантизированных версий Stable Diffusion v1.5, преобразованных в формат GGUF для запуска в stable-diffusion.cpp. Разработчик репозитория — kostakoff; исходная модель создана авторами stable-diffusion-v1-5. Модель предназначена для генерации изображений по текстовому описанию, включая локальное развёртывание через сервер с OpenAI-совместимой конечной точкой генерации изображений. Доступны варианты BF16, Q8_0, Q4_K и Q4_0, позволяющие выбирать между качеством, размером файла и скоростью. В README не указаны число параметров, поддерживаемые языки и размер контекстного окна; для примера генерации приведено разрешение 512×512. Запуск описан для stable-diffusion.cpp с CUDA-совместимым GPU, CMake и CUDA Toolkit. Вариант BF16 имеет известную проблему: при использовании Stable Diffusion 1.5 в stable-diffusion.cpp он создаёт чёрное изображение, поэтому для максимального качества рекомендуется Q8_0. Q4_0 является самым компактным и быстрым вариантом, но даёт небольшую потерю качества; Q4_K представляет компромисс между размером и качеством. Модель распространяется по лицензии CreativeML Open RAIL-M, унаследованной от исходной модели.
ThinkMorph-7B — мультимодальная модель, созданная дообучением BAGEL-7B-MoT от ByteDance Seed на примерно 24 тысячах высококачественных последовательностей рассуждений с чередованием текста и изображений. Модель предназначена для мультимодального рассуждения: она строит последовательные текстовые и визуальные шаги, манипулируя визуальным содержимым и сохраняя связность рассуждений. В карточке заявлены результаты на бенчмарках для визуального рассуждения и обобщения на новые данные, а также способности к визуальным преобразованиям. Модель принимает визуальный контекст и выдаёт текстовые и визуальные результаты; базовая BAGEL описана как модель для понимания изображений и видео, генерации изображений и редактирования по текстовым инструкциям. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0.
TrinArt Stable Diffusion v2 — модель генерации изображений из текста, созданная как дообучение Stable Diffusion для смещения стиля в сторону аниме и манги при сохранении эстетики исходной модели. Она основана на отобранных изображениях высокого разрешения в аниме- и манга-стиле; во второй версии добавлены изображения, применены dropout, улучшена стратегия тегирования и продолжено обучение. Доступны контрольные точки на 60 000, 95 000 и 115 000 шагах: ранняя точка слабее меняет стиль исходной модели. Модель предназначена для создания иллюстраций по текстовым описаниям. Репозиторий предоставляет веса в форматах Diffusers и PyTorch; автор также описывает использование для img2img. Лицензия — CreativeML Open RAIL-M. В README указано, что модель обучалась на восьми GPU NVIDIA A100 40 ГБ.
UniPic2-Metaquery-9B — унифицированная мультимодальная модель Skywork на базе Qwen2.5-VL-Instruct и SD3.5-Medium. Она предназначена для понимания изображений, генерации изображений по текстовому запросу и редактирования изображений. Модель объединяет зрительно-языковые возможности и авторегрессионную генерацию; для запуска требуется около 40 ГБ видеопамяти. В README приведены результаты на GenEval, DPG-Bench и GEditBench-EN. Модель принимает текст и изображения, а выдаёт текст и изображения. Репозиторий содержит веса в формате Safetensors и использует библиотеку Transformers. Лицензия — MIT.
VideoChat-TPO — мультимодальная модель для диалога о видео, разработанная OpenGVLab и основанная на работе Task Preference Optimization: Improving Multimodal Large Language Models with Vision Task Alignment. Она дообучена на Mistral-7B-Instruct-v0.2 и предназначена для ответов на текстовые запросы о видеоматериалах. Модель принимает видео вместе с текстовым запросом и формирует текстовый ответ. В метаданных указаны архитектура MultiModalLLM_PT, библиотека Transformers и формат весов safetensors. Лицензия — MIT. Карточка не сообщает подробностей о поддерживаемых языках или длительности и разрешении видео.
xtracolor.v11 — модель генерации изображений по текстовому описанию, опубликованная AIARTCHAN в формате Diffusers. По README, это результат слияния моделей PowerColor v1, Orange2 и Dalcefo с LoRA Niji Journey; доступны исходный вариант и файлы Safetensors, включая версию FP16. Рекомендации автора включают 30 шагов генерации, сэмплер DPM++ 2M Karras, CFG 9 и размеры 512×768 или 768×512. Модель предназначена для создания цветных изображений по промптам. В README приведены настройки генерации и упомянуто использование апскейлера; базовая модель и поддерживаемые языки отдельно не указаны. Лицензия репозитория — CreativeML OpenRAIL-M, условия использования следует сверять с её текстом и ограничениями.
webnn/yolo12n — модель компьютерного зрения Ultralytics YOLO12, преобразованная в формат ONNX для использования с Transformers.js и бэкендом WebNN. Она предназначена для обнаружения объектов на изображениях; семейство также поддерживает сегментацию экземпляров, классификацию изображений, оценку позы и обнаружение объектов с ориентированными рамками. Репозиторий содержит ONNX-файлы и использует библиотеку Ultralytics. Модель подходит для интеграции компьютерного зрения в веб-приложения с поддержкой WebNN, например для поиска объектов и анализа сцен. Лицензия AGPL-3.0; при использовании следует соблюдать её условия.
MLbackup/2023_Scraped_SDXL — репозиторий с дообученными вариантами Stable Diffusion XL, собранными в резервной копии Earth & Dusk; базовая модель — stabilityai/stable-diffusion-xl-base-1.0. Модели предназначены для генерации изображений по текстовым запросам, в том числе изображений в аниме-стиле. Репозиторий использует Diffusers и содержит веса в формате Safetensors. Это не один однородный чекпойнт: в репозитории размещено множество вариантов SDXL, поэтому конкретный стиль и поведение зависят от выбранного файла. Модель принимает текст и выдаёт изображение. Лицензия — CreativeML Open RAIL-M.
Карточка модели iiYonko/animagine-xl-4.0 на Hugging Face совпадает с карточкой cagliostrolab/animagine-xl-4.0, поэтому описание составлено по ней. Animagine XL 4.0 — диффузионная модель генерации и редактирования изображений в аниме-стиле, разработанная Cagliostro Research Lab на основе Stable Diffusion XL 1.0. Модель дообучена на более чем 8,4 млн изображений и рассчитана на создание иллюстраций по текстовым запросам. Она поддерживает работу через Diffusers, ComfyUI и Stable Diffusion WebUI; карточка описывает вариант Animagine XL 4.0 Opt с улучшенной стабильностью, анатомией, снижением шума и цветопередачей. Для управления результатом модель лучше использовать с запросами в формате тегов и специальными тегами качества, рейтинга и периода. Поддерживаемый язык в метаданных — английский. Лицензия — CreativeML Open RAIL++-M (в метаданных Hugging Face указана OpenRAIL++).
Arcaillous-NBXL-v10 — дообученная модель генерации изображений, созданная Bedovyy на базе Laxhar/noobai-XL-1.0. Она принимает текстовые промпты и предназначена для создания изображений; репозиторий содержит веса Safetensors для использования с Diffusers. Модель обучали в два этапа с помощью kohya-ss/sd-scripts: сначала Lion8bit для ускоренного обучения, затем Lion для детализации. В README не описаны конкретные стили, особенности генерации или ограничения качества. Лицензия в метаданных указана как other, поэтому перед использованием следует проверить условия лицензии на странице модели.
BeautifulFantasyRealMix_diffusers — модель генерации изображений по текстовому описанию, опубликованная пользователем digiplay. В репозитории указана версия beautifulfantasyreal_v10.safetensors; метаданные относят модель к Stable Diffusion и формату Diffusers. Модель предназначена для создания изображений по текстовым запросам. Название указывает на фэнтезийную и реалистичную стилистику, однако README не содержит подробностей о рекомендуемых запросах или результатах, поэтому конкретные художественные возможности карточкой не подтверждены. Репозиторий создан в мае 2023 года. Лицензия обозначена как other, без дополнительных условий в доступных данных. В README не приведены сведения о базовой модели, размере, поддерживаемых языках или контекстном окне.
Это контрольные веса для генерации изображений на базе FLUX.1-dev, опубликованные Sayak Paul. Модель обучена с новым типом conditioning на датасете instruction-tuning-sd/cartoonization и предназначена для превращения входного изображения в мультяшную версию по текстовому запросу. Модель использует архитектуру FLUX и распространяется в формате safetensors для библиотеки Diffusers. В карточке не указаны размер весов, длина контекста и конкретные языки. Лицензия обозначена как other; условия её использования следует проверять в репозитории. Карточка не содержит примеров ограничений или смещений, а раздел об этом оставлен незаполненным.
Clam — модель генерации изображений по текстовому описанию, опубликованная пользователем Johnhex и работающая через библиотеку Diffusers. Автор рекомендует формулировать позитивный запрос как описание желаемого изображения без тегов качества; в негативный запрос можно добавить EasyNegative. В карточке также упоминается вариант Clam1.1 с более детализированным фоном, но меньшей стабильностью. Модель предназначена для сценариев text-to-image и распространяется в форматах Diffusers, PyTorch и Safetensors. Лицензия — CreativeML OpenRAIL-M, условия которой следует учитывать при использовании и распространении сгенерированных изображений и самой модели.
ComradeshipXL-v14VT — версия SDXL Hyper модели Comradeship XL v14V от hanzogak для генерации изображений по текстовому описанию. Автор рекомендует использовать 6–15 шагов генерации и CFG 1.0; в примере с Diffusers изображение создаётся за 8 шагов с планировщиком Euler Ancestral и разрешением 832 × 1216 пикселей. Модель распространяется в форматах Diffusers и Safetensors под лицензией other; условия этой лицензии следует уточнить перед использованием.
Counterfeit-v3-0 — неофициальная версия весов в формате Diffusers на основе Stable Diffusion v1.5. Модель предназначена для генерации изображений по текстовым описаниям и запускается как StableDiffusionPipeline. Модель принимает текстовые запросы и создаёт изображения. Карточка не приводит специализированные сценарии, поддерживаемые языки или сведения о контексте. Условия лицензии в доступных данных не указаны.
Yntec/Darkside, также обозначенная в карточке как DucHaiten Darkside, — модель генерации изображений по текстовому описанию для библиотеки Diffusers. В README указана версия fp16 без EMA; пример показывает стилизованную мультяшную иллюстрацию девушки с детализированными чертами и волосами. Метаданные связывают модель со Stable Diffusion и отмечают тематику аниме и хоррора. Модель подходит для создания иллюстраций по промптам в мультяшном и художественном стиле. Репозиторий распространяется по лицензии CreativeML OpenRAIL-M. README не сообщает сведения о размере модели, контексте или языковой специализации.
Dreamshaper XL Lightning — модель генерации изображений по текстовому описанию, опубликованная пользователем oguzm. Это копия или вариант модели lykon/dreamshaper-xl-lightning, дообученной на stabilityai/stable-diffusion-xl-base-1.0. Модель основана на Stable Diffusion XL и предназначена для создания художественных изображений по промптам; в метаданных также отмечены стили anime, art и режимы turbo и LCM. Репозиторий содержит веса в форматах Diffusers и safetensors. Для использования автор README приводит пример с библиотекой Diffusers. Карточка указывает лицензию OpenRAIL++; применяйте модель с учётом её условий. README не описывает отдельные ограничения качества или рекомендуемые настройки генерации.
EimisAnimeDiffusion_1.0v — диффузионная модель генерации изображений, обученная на качественных детализированных изображениях в стиле аниме. Она предназначена для создания аниме-иллюстраций и пейзажных сцен по текстовым описаниям; также подходит для уточнения изображений в сценарии image-to-image. В карточке приведён пример генерации фона с облаками, горами, замком и лесом. Модель распространяется в форматах Diffusers, PyTorch и Safetensors и использует лицензию CreativeML OpenRAIL-M. Примеры и описание ориентированы на англоязычные промпты. В README отмечено, что некоторые промпты могут давать нежелательные цвета; качество результата зависит от формулировки запроса.
digiplay/Fish_2343GBH — модель для генерации изображений по текстовому описанию, размещённая пользователем digiplay на Hugging Face. Метаданные указывают на использование Diffusers и StableDiffusionPipeline; карточка содержит пример промпта с фотореалистичным городским фоном и персонажем с крыльями на голове. Модель предназначена для создания изображений по промптам. В репозитории указаны файлы в формате safetensors и лицензия «other», поэтому условия использования следует уточнять по самой лицензии репозитория. Карточка не сообщает размер модели, базовую модель, поддерживаемые языки или ограничения качества.
camenduru/FLUX.1-dev-diffusers — вариант модели FLUX.1 [dev] от Black Forest Labs, опубликованный в формате Diffusers. Это 12-миллиардная rectified flow transformer для генерации изображений по текстовым описаниям; репозиторий содержит веса BF16 и пример запуска через Diffusers. Модель предназначена для создания изображений по запросам, в том числе для творческих рабочих процессов и экспериментов. Разработчик FLUX.1 [dev] отмечает высокое качество изображений и следование промптам; результат зависит от формулировки запроса, а модель может не точно ему соответствовать. Она не предназначена для предоставления фактической информации и может воспроизводить общественные предубеждения. Условия распространения — некоммерческая лицензия FLUX.1 [dev].
Alex7575/Flux2-Klein-9B-Consistency — это адаптер LoRA для модели black-forest-labs/FLUX.2-klein-9B, предназначенный для использования в задачах image-to-image через библиотеку Diffusers. По данным карточки, адаптер повышает согласованность результатов Klein без необходимости использовать специальные ключевые слова или cue words. Модель ориентирована на генерацию и преобразование изображений, где важны более стабильный визуальный результат и сохранение согласованности между изображениями. В версии V2 заявлены исправления цветового оттенка, уменьшение эффекта «грязных» изображений из-за чрезмерного добавления деталей и снижение чрезмерной насыщенности, характерной для базовой модели. Архитектура, языки, поддерживаемые модальности помимо image-to-image и размер контекста отдельно не указаны; о результатах следует судить с учетом зависимости от базовой FLUX.2-klein-9B и параметров применения LoRA. Адаптер распространяется по лицензии Apache-2.0. В карточке отсутствуют точные рекомендации по весу LoRA, аппаратным требованиям, ограничениям использования и количественной оценке качества.
Hyper Realism 1.2 — модель генерации изображений по текстовому описанию, опубликованная пользователем Yntec на Hugging Face. Примеры в карточке показывают фотореалистичные портреты и кинематографические сцены с эстетикой аналоговой цветной фотографии 1970-х и кадра из фильма 1990-х годов. Модель предназначена для создания изображений по промптам, в том числе портретов, постановочных сцен и визуалов с ретро-стилизацией. Репозиторий использует Diffusers и формат safetensors; метаданные связывают модель с семейством Stable Diffusion. В карточке приведены примеры, но нет сведений о размере, контексте, базовой модели или поддерживаемых языках. Лицензия — CreativeML Open RAIL-M; её условия распространяются на использование и распространение модели.
calcuis/illustrious — это набор квантованных в формате GGUF и масштабированных FP8 версий модели Illustrious-XL, основанной на OnomaAIResearch/Illustrious-xl-early-release-v0. Модель предназначена для генерации изображений по текстовому описанию и ориентирована на использование в ComfyUI, в том числе с gguf-node. Доступны варианты GGUF с разными уровнями квантования, включая q4_0 и q8_0, а также версии, полученные из FP8- и BF16-весов. Для работы требуются соответствующие текстовые энкодеры, включая illustrious_g_clip и illustrious_l_clip, а также VAE-декодер. README указывает на поддержку запуска на устаревших видеокартах и режимов low VRAM, однако фактическая производительность зависит от конкретной конфигурации и варианта модели. Модель подходит для создания детализированных, стилизованных и преимущественно аниме-ориентированных изображений; в примерах используются портреты, персонажи и кинематографическое освещение. Ограничения включают необходимость использования тегов или ключевых слов для более точного управления результатом, особенно при работе с ранними версиями, а также различия в скорости загрузки и качестве между вариантами квантования. В карточке указана лицензия Apache-2.0; разработчиком набора указан calcuis, а исходная модель связана с OnomaAIResearch.
Ilustmix-v9-sdxl — модель генерации изображений по текстовому описанию, созданная пользователем GZees. Она представляет собой дообученную версию OnomaAIResearch/Illustrious-xl-early-release-v0 и предназначена для создания изображений в стилях anime, semi-realistic и realistic, включая более яркую визуальную подачу и улучшенную детализацию рук. Модель построена на Stable Diffusion XL и рассчитана на использование через StableDiffusionXLPipeline библиотеки Diffusers. Для управления результатом поддерживает prompt attention — усиление отдельных частей текстового запроса. Основной язык текстовых запросов — английский. Лицензия модели — FAIR-1.0-SD (faipl-1.0-sd). Модель ориентирована на генерацию изображений по текстовым промптам; качество результата зависит от формулировки запроса, выбранных параметров генерации и ограничений базовой архитектуры.
Proteus-RunDiffusion — модель генерации изображений по текстовому описанию от команды RunDiffusion. Она основана на архитектуре Stable Diffusion XL и доступна в формате Diffusers с весами PyTorch и Safetensors; в карточке указана лицензия GPL-3.0. Разработчики описывают её как эксперимент с переобучением CLIP, направленный на более гибкую интерпретацию запросов и генерацию изображений в разных художественных стилях, включая фотореализм. Модель предназначена для создания изображений по текстовым промптам и художественных экспериментов. В README рекомендованы настройка CLIP −2, лёгкие негативные промпты и CFG около 8,5 для обычных запросов или 3,5 для более художественных результатов; также заявлена работа с широким диапазоном CFG. Авторы отмечают, что поведение отличается от других моделей и требует привыкания. Контекстные ограничения, размер модели и поддерживаемые языки в предоставленных данных не описаны.