I.10Видео, анимация и 3D
В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
3 279 моделейcalcuis/qwen-image-gguf — это GGUF-квантизированная версия модели Qwen-Image, базовая модель которой разработана командой Qwen. Модель предназначена для генерации изображений по текстовому описанию, включая создание сцен, персонажей, окружения и изображений с текстом. Основной язык, указанный для модели, — английский; она интегрируется с Diffusers и ComfyUI через gguf-node или может запускаться с помощью gguf-connector. Модель использует диффузионную архитектуру Qwen-Image и текстовый энкодер Qwen2.5-VL-7B. Доступны варианты GGUF-квантизации, включая IQ2_S, IQ4_NL, Q4_0, Q5 и Q8_0; конкретные размеры файлов в README не приведены. В примере генерация выполняется с разрешением 1024×1024 и 24 шагами диффузии. К сильным сторонам относятся поддержка локального запуска и возможность выбора степени квантизации для компромисса между качеством и потреблением памяти. Ограничения включают зависимость от дополнительных компонентов — текстового энкодера и VAE, а также отсутствие поддержки квантов t и i в Diffusers на момент публикации README. Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о качестве, производительности, требованиях к оборудованию и полной языковой поддержке.
Raemu XL — модель генерации изображений по текстовому описанию, разработанная Raelina. Она основана на диффузионной архитектуре Stable Diffusion XL и ориентирована на аниме и 2.5D-стиль. В README указаны слияние Animagine XL 3.1 с RealCartoonXL V6 и Blue Pencil XL v3.1.0, а также дополнительная настройка варианта Lightning на 860 изображениях высокого качества. Модель подходит для создания стилизованных иллюстраций по промптам. В карточке приведены рекомендуемые разрешения, настройки генерации и подсказки для улучшения качества, включая отрицательные промпты и режим Hires.fix. Метаданные указывают форматы Diffusers и Safetensors и английский язык карточки. Для модели указана лицензия Fair AI Public License 1.0-SD. README отмечает, что отрицательные промпты помогают уменьшить дефекты вроде плохо прорисованных рук, размытия и водяных знаков; результат зависит от промпта и настроек генерации.
RainbowDiffusion — модель преобразования текста в изображение на основе Stable Diffusion, опубликованная пользователем johnowhitaker. Она предназначена для генерации изображений по текстовым запросам и используется через библиотеку Diffusers с конвейером StableDiffusionPipeline. В README приведён пример генерации изображения по запросу «A cat». Репозиторий содержит веса в форматах Diffusers и PyTorch; лицензия — CreativeML Open RAIL-M.
AEmotionStudio распространяет веса Meta AI SAM-Audio в формате BF16 Safetensors. В репозитории представлены варианты Large-TV и Base-TV: в README указано около 3,72 млрд и 1,93 млрд параметров соответственно. Это модели разделения аудио, предназначенные для выделения заданных звуков из сложных аудиосмесей. Для задания цели можно описать звук текстом, указать объект на видео или задать временной интервал; варианты TV оптимизированы для точности выделения цели и визуальных подсказок. Модель принимает аудио и возвращает отделённое аудио. Лицензия указана как SAM License, а метаданные обозначают её как other; перед использованием следует свериться с условиями SAM License. Репозиторий описывает преобразование весов в BF16 Safetensors для упрощения доступа и распространения.
Это конвертированная в формат MLX версия SmolVLM2-256M-Video-Instruct, подготовленная сообществом mlx-community с помощью mlx-vlm 0.1.13. Модель семейства SmolVLM предназначена для диалоговой работы с видео: она принимает видео и текстовые запросы и формирует текстовые ответы. В метаданных указаны архитектура SmolVLMForConditionalGeneration, базовые компоненты SigLIP и SmolLM2-360M-Instruct, поддержка английского языка и формат весов safetensors. Модель подходит для локального использования в задачах описания видеосодержимого и ответов на вопросы о видео. Репозиторий распространяется по лицензии Apache-2.0. Поскольку README отсылает к карточке исходной модели, подробные сведения о контекстном окне и дополнительных ограничениях здесь не приводятся.
Sudachi_diffusers — модель для генерации изображений по текстовому описанию в формате Diffusers. Репозиторий помечен как Stable Diffusion и содержит веса Safetensors. README содержит только упоминание демонстрационных изображений автора оригинальной модели; других сведений о разработчике, архитектуре или характеристиках нет. Модель предназначена для создания изображений по текстовым запросам. Лицензия указана как other, поэтому конкретные условия использования по имеющимся данным определить нельзя.
takeON_v2 — дообученная модель Stable Diffusion 1.5 для генерации изображений в стиле музыкального видео «Take On Me» группы A-ha. Для вызова стиля в запросе используется токен _takeON_. Модель обучена автором tuwonga методом DreamBooth на 64 изображениях при 6400 шагах обучения; README описывает сцены, где нарисованный персонаж показан на фоне реального мира, а также варианты с цветом и комиксной рамкой. Модель предназначена для генерации изображений по текстовым запросам и может применяться в режимах img2img и inpainting. Репозиторий содержит файлы Diffusers, PyTorch и safetensors. Лицензия — CreativeML OpenRAIL-M.
VideoLLaMA2-7B-16F — диалоговая мультимодальная модель для понимания видео, разработанная командой DAMO-NLP-SG. Она сочетает визуальный энкодер CLIP ViT-Large/14 с разрешением 336 и языковой декодер Mistral-7B-Instruct-v0.2; версия 16F использует 16 кадров при обучении. Модель предназначена для ответов на вопросы о содержании видео и диалоговых сценариев с видео. В карточке указаны 7,1 млрд параметров и контекст 32 768 токенов. Метаданные заявляют английский язык и задачи генерации текста и визуальных вопросов и ответов. Веса опубликованы в формате safetensors по лицензии Apache-2.0. Карточка не уточняет обработку аудиовхода, поэтому не следует считать поддержку аудио подтверждённой только по названию проекта.
Yntec/3DRendering — модель генерации изображений по текстовому описанию на основе ReVAnimated, в которую слита LoRA 3DMM V3. Для работы используется MoistMixV2VAE; метаданные указывают на Diffusers и формат SafeTensors. Модель предназначена для создания иллюстраций, в том числе стилизованных под аниме и рисунок, по текстовым промптам. В примере автор использует подробный промпт для изображения натюрморта с фруктами и персонажем в мультяшном стиле. Модель распространяется по лицензии CreativeML OpenRAIL-M. Карточка не сообщает о контекстных ограничениях или специальных защитах; результат зависит от формулировки промпта.
Archer Diffusion — модель генерации изображений от nitrosocke, полученная дообучением Stable Diffusion на кадрах мультсериала «Арчер». Для стилистического эффекта в запрос рекомендуется добавлять токен «archer style». Модель предназначена для создания портретов, пейзажей, животных и других изображений с визуальной стилистикой сериала; она работает как конвейер StableDiffusionPipeline из библиотеки Diffusers и выдаёт изображения по текстовому описанию. Модель обучена методом DreamBooth с сохранением исходного распределения и дообучением текстового энкодера в течение 4000 шагов. Репозиторий содержит веса в форматах Diffusers и PyTorch. Лицензия — CreativeML OpenRAIL-M; ограничения лицензии следует учитывать при использовании и распространении сгенерированных материалов.
Beyond Reality Z-Image Diffusers — преобразованная для библиотеки Diffusers модель генерации изображений по текстовому описанию. Разработчик преобразовал трансформер Beyond Reality Z-Image из формата ComfyUI для использования с конвейером ZImagePipeline; исходная модель опубликована как Nurburgring/BEYOND_REALITY_Z_IMAGE и основана на Tongyi-MAI/Z-Image-Turbo. Модель предназначена для создания изображений по текстовым запросам. Она распространяется в формате safetensors и лицензирована по Apache-2.0. Это конверсия весов в другой формат, поэтому для применения требуется совместимый ZImagePipeline в Diffusers.
BK-SDM-Base-2M — сжатая модель Stable Diffusion для генерации изображений по текстовому описанию, разработанная авторами проекта BK-SDM. Это вариант с удалёнными блоками U-Net и предварительным обучением методом дистилляции; для версии 2M использовано около 2,3 млн пар LAION Aesthetics V2 6.25+, что в десять раз больше данных, чем в предыдущем выпуске BK-SDM. Полная модель содержит около 0,76 млрд параметров, из них 0,58 млрд приходится на U-Net. Модель предназначена для синтеза изображений по текстовым запросам. В опубликованной оценке генерация с разрешением 512×512 и последующее сравнение на MS-COCO показали улучшение метрик относительно предыдущей BK-SDM-Base. Модель можно запускать через Diffusers; приведённый в карточке пример использует планировщик PNDM и 50 шагов денойзинга. Лицензия — CreativeML OpenRAIL-M; применяются ограничения использования Stable Diffusion v1.
Celestia-1.4B-MoE — специализированная языковая модель от seashyne для управления творческими рабочими процессами в Lenout: рисованием, дизайном, досками, блок-схемами, презентациями, анимационным видео и 3D-сценами. Карточка описывает архитектуру Mixture of Experts с восемью маршрутизируемыми экспертами и одним общим; на каждом токене активны два эксперта. Также заявлены Multi-Head Latent Attention для уменьшения объёма KV-кэша и контекст длиной 32 768 токенов. Модель предназначена для планирования многоэтапных творческих задач и выдачи структурированных команд на DSL Lenout в формате JSON. В карточке указана поддержка рассуждений и обучение с GRPO. Метаданные указывают 1,2 млрд параметров и формат PyTorch; языки карточки — тайский и английский. Лицензия — Apache-2.0. Описание не уточняет, как подключать модель к Lenout, и не приводит результатов оценки качества или примеров команд. Заявления о возможностях планирования и управлении инструментами основаны на карточке модели; они не подтверждены независимыми оценками.
diffusers/controlnet-canny-sdxl-1.0-small — экспериментальная компактная модель ControlNet из экосистемы Hugging Face Diffusers, обученная для совместной работы с Stable Diffusion XL base 1.0. Она управляет генерацией изображений по карте контуров Canny, сохраняя заданную структуру исходного изображения и позволяя получать изображения по текстовому описанию. Модель предназначена для сценариев text-to-image с контролем композиции, формы и границ объектов, включая фотореалистичные и художественные изображения. Контрольная сеть примерно в семь раз меньше исходной версии XL ControlNet. Она не содержит attention-блоков и не использует distillation; компактная архитектура инициализирована из SDXL UNet. Модель работает с изображениями и текстом, поддерживается StableDiffusionXLControlNetPipeline и рассчитана на использование в FP16. В README не указаны точный размер в параметрах, максимальная длина контекста или перечень поддерживаемых языков. Для управления силой влияния контуров рекомендуется настраивать controlnet_conditioning_scale; значение 0,5 указано как подходящее для хорошей обобщающей способности. Сильная сторона модели — существенно меньший размер при приемлемой работе с большинством изображений-контролей, что может упростить использование по сравнению с крупной версией ControlNet. Ограничения связаны с экспериментальным статусом: для сложных условий более крупные контрольные точки могут давать лучшее качество, а модель всё ещё требует улучшений. Лицензия указана как OpenRAIL++.
Yntec/DisneyPixarCartoon768 — модель генерации изображений по текстовому описанию в стиле мультфильмов Disney и Pixar. Она основана на Stable Diffusion и распространяется в формате Diffusers с весами Safetensors. Эта версия рассчитана на изображения 768×768 и включает встроенный 84KVAE, который, по карточке, улучшает детализацию. Модель подходит для создания мультяшных персонажей и сцен по текстовым промптам. В примерах показаны сказочные и праздничные сюжеты, животные и портреты; некоторые примеры используют английские промпты. Указана лицензия CreativeML OpenRAIL-M. Карточка не приводит количественных оценок качества или подробных ограничений по использованию.
Карточка модели Bdhj/dreamlike-diffusion-1.0 на Hugging Face совпадает с карточкой dreamlike-art/dreamlike-diffusion-1.0, поэтому описание составлено по ней. Dreamlike Diffusion 1.0 — модель генерации изображений по текстовому описанию от dreamlike.art, основанная на Stable Diffusion. Она предназначена для создания художественных изображений по текстовым запросам; модель можно запускать через Diffusers или использовать на сайте dreamlike.art. Карточка указывает на поддержку Stable Diffusion Pipeline и распространяемые форматы Diffusers, PyTorch и safetensors. В метаданных указан английский язык. Лицензия обозначена как other; конкретные условия использования в карточке не раскрыты.
EimisAnimeDiffusion_1.0v — модель диффузии для генерации изображений в аниме-стиле, обученная разработчиком eimiss на качественных детализированных изображениях. Она предназначена для создания аниме-сцен и пейзажей по текстовым запросам; автор также отмечает, что модель подходит для обработки изображений через img2img и добавления деталей. В примере приведены настройки генерации: 20 шагов, sampler DPM++ 2S a Karras, CFG scale 9 и размер 896×640. Модель распространяется в форматах Diffusers, PyTorch и safetensors по лицензии CreativeML OpenRAIL-M. Автор предупреждает, что некоторые запросы могут работать неидеально, в частности при задании цветов.
FLUX.2 [klein] 9B Base — базовая модель генерации и редактирования изображений от Black Forest Labs. Это rectified flow transformer с 9 млрд параметров, объединяющий генерацию по текстовому описанию и редактирование с несколькими эталонными изображениями в одной архитектуре. Модель предназначена для творческой работы, разработки собственных конвейеров генерации и редактирования, а также тонкой настройки и обучения LoRA. Для запуска используется библиотека Diffusers; в README указано, что модели требуется около 29 ГБ видеопамяти и подходит NVIDIA RTX 4090 или мощнее. Это недистиллированный вариант с полной емкостью, рассчитанный на гибкость, контроль и большее разнообразие результатов по сравнению с дистиллированными моделями. Он принимает текстовые запросы и изображения-референсы, а выдаёт изображения. Языковой код в метаданных — английский. Лицензия обозначена как other, поэтому конкретные условия следует сверять с лицензией репозитория. Модель не предназначена для предоставления фактических сведений; текст на изображениях может искажаться, следование запросам зависит от формулировок, а результаты могут отражать смещения обучающих данных.
Ghibli Diffusion — модель генерации изображений на основе Stable Diffusion, дообученная nitrosocke на изображениях из современных полнометражных аниме Studio Ghibli. Для получения характерного эффекта в запрос рекомендуется добавлять токен «ghibli style». Модель создаёт изображения по текстовому описанию; в карточке также приведены примеры пейзажей, автомобилей и персонажей. Модель обучена методом DreamBooth с сохранением prior-preservation loss и дообучением текстового энкодера в течение 15 000 шагов. Она предназначена для создания иллюстраций в стилистике Ghibli, например фантастических персонажей, транспорта и пейзажей. Доступна в форматах Diffusers, PyTorch и Safetensors; лицензия — CreativeML OpenRAIL-M.
Insane Isometric — модель преобразования текста в изображение на базе Stable Diffusion, дообученная Duskfallcrew методом DreamBooth с помощью ноутбука fast-DreamBooth от TheLastBen. Она предназначена прежде всего для создания изометрических сцен и пейзажей по текстовым запросам, но может генерировать и другие изображения. Модель понимает теги Danbooru; чтобы чаще получать изображения без людей, в запрос можно включать «isometric» или «non humans». В метаданных указаны библиотека Diffusers и форматы PyTorch и Safetensors. Модель рассчитана на генерацию изображений по тексту и, судя по карточке, лучше всего подходит для стилизованных изометрических композиций и ландшафтов. В тегах также указаны anime и английский язык. Лицензия — CreativeML OpenRAIL-M. Автор просит не перезагружать модель в другие репозитории; это условие карточки модели, а не описание технических возможностей лицензии.
KielForge-fast — дообученный LoRA-адаптер для Stable Diffusion XL Base 1.0, созданный KielTech. Он предназначен для генерации изображений по тексту и преобразования исходных изображений, с акцентом на детализированные футуристические портреты, персонажей научной фантастики и концепт-арт с реалистичными текстурами. Адаптер доступен в виде 16-битных весов safetensors, а также вариантов GGUF F16 и Q4_0. Для генерации рекомендуется разрешение 1024 × 1024; в README также приведены параметры сэмплирования и силы преобразования изображения. Для работы нужны базовая модель SDXL и совместимый интерфейс или конвейер, например Diffusers, ComfyUI либо WebUI Forge. Модель ориентирована на англоязычные запросы. Квантованная версия Q4_0 может давать небольшие артефакты по сравнению с вариантом F16. Модель наследует ограничения и профиль безопасности базовой SDXL. Лицензия — CreativeML OpenRAIL-M.
MistoonAnime — модель генерации изображений по текстовому описанию, размещённая stablediffusionapi в формате для Diffusers. README показывает вызов модели через API ModelsLab с идентификатором mistoonanime и параметры генерации: размер 512×512, 30 шагов и guidance scale 7,5. Также поддерживаются отрицательный промпт и настройка seed. Пример карточки ориентирован на создание детализированных портретов с кинематографическим освещением. В метаданных указаны StableDiffusionPipeline, форматы PyTorch и safetensors и лицензия CreativeML OpenRAIL-M. Модель принимает текст и выдаёт изображения; сведения о базовой модели, размере весов и поддерживаемых языках в доступных данных отсутствуют.
Oryx-7B — визуально-языковая модель от команды THUdyh, построенная на Oryx-ViT и Qwen2-7B и дообученная на наборе Oryx-SFT-Data. Она предназначена для генерации ответов по визуальным данным, включая изображения и видео с различным пространственным размером и временной длительностью. Модель содержит 7,1 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов; заявленные языки — английский и китайский. Модель подходит для диалогового анализа изображений и видео, когда требуется описать визуальную сцену или ответить на вопрос о содержимом. В README указано, что обучение велось на смеси из 1,2 млн данных об изображениях и видео. Лицензия — Apache 2.0. Метаданные Hugging Face помечают её задачей text-generation, поэтому для каталога эта задача указана основной, хотя README описывает также обработку визуальных входов.
Pixel Art Style — дообученная модель Stable Diffusion для создания изображений в стиле пиксель-арта по текстовому описанию. Разработчик рекомендует добавлять токен pixelartstyle в запрос, чтобы задать нужный стиль. Модель принимает текстовые запросы на английском языке и выдаёт изображения. В карточке указан формат Diffusers на PyTorch. Размер модели и длина контекста не приведены. Модель опубликована под лицензией, сведения о которой в доступных данных отсутствуют.
digiplay/polla_mix_2.5D — модель генерации изображений по текстовому описанию, опубликованная пользователем digiplay. В карточке указаны pipeline StableDiffusionPipeline и форматы Diffusers, PyTorch и safetensors; README содержит пример изображения, созданного через API Hugging Face, и демонстрационные изображения первоначального автора. Модель предназначена для создания изображений по текстовым запросам. В README и метаданных не приведены сведения об архитектуре и размере исходной модели, поддерживаемых языках, контекстном окне или условиях лицензии; метаданные указывают лицензию «other».
pseudo-flex-v2 — полновесная дообученная модель генерации изображений на основе Stable Diffusion 2.1, опубликованная пользователем RareConcepts. Она создаёт изображения по текстовому описанию и обучалась на смешанном наборе данных с материалами о кино и постерах, архитектуре, спорте, пиксель-арте, анатомии и других темах. Текстовый энкодер базовой модели не дообучался; для запуска можно использовать энкодер Stable Diffusion 2.1. В README приведены параметры проверки генерации, включая 30 шагов и примеры разрешений около одного мегапикселя, однако они не гарантируют оптимальное качество для любого запроса. Модель обучалась в BF16 и распространяется в форматах Diffusers и safetensors. Лицензия — CreativeML OpenRAIL-M. Данные обучения включают категории откровенного контента, поэтому модель может создавать материалы для взрослых; качество и точность генерации текста внутри изображения отдельно не заявлены.
Phil2Sat/Qwen-Image-Edit-Rapid-AIO-GGUF — это GGUF-квантизированная версия модели Qwen-Image-Edit-Rapid-AIO, опубликованная пользователем Phil2Sat и основанная на компонентах Phr00t/Qwen-Image-Edit-Rapid-AIO, Qwen/Qwen-Image-Edit-2509 и lightx2v/Qwen-Image-Lightning. Модель предназначена для генерации изображений по текстовому описанию и редактирования существующих изображений в ComfyUI, включая сценарии с быстрым результатом примерно за четыре шага. В поставку также включены NSFW- и Lightning-LoRA, однако это не полностью автономный пакет AIO. Модель использует формат GGUF и работает с текстовым энкодером Qwen2.5-VL-7B-Instruct-abliterated либо с рекомендованным в README стандартным текстовым энкодером. Поддерживаются текстовые и визуальные входы для задач text-to-image и image-to-image; конкретный набор языков и размер контекстного окна не указан. Для работы необходимы отдельные текстовый энкодер и VAE, поскольку упаковать их в GGUF не удалось. Также требуется разместить файл mmproj рядом с GGUF-файлом текстового энкодера и заменить узел nodes_qwen.py в ComfyUI на исправленную версию. Сильными сторонами являются поддержка ускоренной генерации и редактирования изображений, совместимость с ComfyUI и наличие вариантов квантования, включая Q2_K и Q5_K_M. Ограничения связаны с необходимостью ручной установки дополнительных компонентов и исправленного узла ComfyUI, а также с возможным снижением качества при использовании более агрессивного квантования. В README указана лицензия Apache-2.0.
SD3_prompt-llama_8b — дообученная модель семейства Llama 3 от matrixglitch, предназначенная для преобразования кратких или ненатурально сформулированных запросов в естественные языковые промпты для Stable Diffusion 3. Она старается сохранить исходную идею запроса, поскольку SD3 хуже работает с промптами, написанными неестественным языком. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 8192 токенов. Дообучение выполнено за 1500 шагов на RTX 3090. В наборе данных было более 90 тысяч исходных промптов и 220 тысяч их преобразованных вариантов; весь набор не использовался из-за ограниченных вычислительных ресурсов. Автор сообщает о снижении отдачи от дальнейшего обучения при малом размере пакета. Модель распространяется по лицензии Llama 3; применяются условия этой лицензии.
SDXL-LORA — это LoRA-модель для генерации изображений на базе Stable Diffusion XL. Модель разработана FFusion и связана с оригинальной моделью 400GB-LoraXL, а в качестве базовой модели указана FFusion/FFXL400. Для активации в промпте предусмотрен идентификатор Morphxl_V10. Модель предназначена для text-to-image-сценариев, включая создание стилизованных изображений с детализированной, кинематографичной и концептуальной визуальной подачей. В качестве примера приведена генерация киберпанк-города с неоновым окружением, персонажем и элементами механики, выполненная в смешанной стилистике. Известно, что модель поддерживает Stable Diffusion XL и интеграцию с библиотекой diffusers; формат адаптера — LoRA. Основной заявленный язык — английский. Данные о размере, точном наборе поддерживаемых модальностей, длине контекста и количественных характеристиках отсутствуют. Модель распространяется по лицензии openrail++.
TensorFamily/SigmaJourney — дообученная модель генерации изображений по текстовому описанию на основе PixArt-Σ XL 2 1024 MS. Она предназначена для создания изображений из текстовых запросов и может использоваться в ComfyUI через Diffusers-совместимые веса в формате safetensors. Модель опубликована в библиотеке Diffusers под лицензией CreativeML Open RAIL-M.