I.10Видео, анимация и 3D
В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
3 279 моделейLLaDA2.0-Uni-FP8 — версия LLaDA2.0-Uni, подготовленная Inclusion AI, в которой веса MoE-экспертов блочно квантованы до FP8. Квантизация уменьшает объём памяти для загрузки модели примерно на 48% по сравнению с вариантом BF16, при этом README заявляет о сохранении качества результатов. Модель относится к мультимодальному семейству LLaDA2 MoE и поддерживает генерацию изображений по тексту, понимание изображений и редактирование изображений. Заявленный контекст составляет 8192 токена; модель использует Transformers и хранится в формате safetensors. Для загрузки FP8-варианта требуется около 32,5 ГБ памяти GPU; пиковое потребление при инференсе сопоставимо с BF16 и зависит от сценария. Лицензия — Apache-2.0.
LongVT-RFT — мультимодальная модель для понимания и рассуждения по длинным видео, разработанная в рамках проекта LongVT. Это версия LongVT, дообученная на основе Qwen2.5-VL-7B-Instruct; она использует архитектуру Qwen2.5-VL с 7,1 млрд параметров и принимает видео и текстовые запросы, выдавая текстовые ответы. Контекст модели составляет до 128 000 токенов. Модель предназначена для ответов на вопросы о содержании длинных видео. Её подход сочетает общий просмотр видео с повторным выделением и более детальным анализом релевантных фрагментов, чтобы обосновывать ответы визуальными свидетельствами. README сообщает о результатах на нескольких бенчмарках понимания и рассуждения по длинным видео, но не приводит здесь полную таблицу результатов. Модель распространяется под лицензией Apache-2.0. Для воспроизведения инференса и оценки разработчики рекомендуют инструкции и окружение из репозитория проекта. Результаты зависят от корректной настройки обработки видео и следования рекомендуемому сценарию использования.
Mangled Merge 3 768 — версия модели для генерации изображений по текстовому описанию, предназначенная для инференса через API. В карточке приведены примеры запросов для создания аниме- и мультяшных иллюстраций, в том числе персонажей и сцен с детализированными лицами, волосами и окружением. В метаданных модель обозначена как Stable Diffusion и использует Diffusers, PyTorch и формат Safetensors. Суффикс 768 в названии и описание версии указывают на вариант модели с разрешением 768 пикселей. Модель принимает текстовые запросы и генерирует изображения; в метаданных указан английский язык. Лицензия — CreativeML OpenRAIL-M.
Nitro-E — семейство компактных моделей генерации изображений по тексту, разработанное AMD. Базовая Nitro-E-512px построена на архитектуре Efficient Multimodal Diffusion Transformer (E-MMDiT), обучена с нуля и содержит 304 млн параметров. Модель рассчитана на создание изображений размером 512 пикселей; генерация выполняется за 20 шагов. Также представлены дистиллированная версия Nitro-E-512px-dist и версия Nitro-E-512px-GRPO, дообученная методом Group Relative Policy Optimization. Модель ориентирована на эффективное обучение и вывод изображений при ограниченных вычислительных ресурсах. В README приведены показатели скорости на AMD Instinct MI300X: 18,8 изображения в секунду для базовой версии и 39,3 для дистиллированной при указанных настройках пакетной обработки. Обучение базовой модели заняло 1,5 дня на узле с восемью такими ускорителями. Репозиторий использует Diffusers и формат Safetensors; лицензия — MIT. Языковая поддержка и ограничения по содержанию в карточке не описаны.
pai-bloom-1b1-text2prompt-sd-v2 是阿里巴巴 PAI 发布的自动提示词生成模型,基于 BLOOM 架构,包含约 1.3B 参数。它将简短的图像描述扩写为适合 Stable Diffusion 图像生成的提示词,加入细节、风格描述和可配合 sd-webui 使用的权重语法;模型卡称其较前一版改进了复杂场景表现。模型以 Transformers/PyTorch 支持的 safetensors 格式提供,采用 Apache-2.0 许可证,并另要求使用者遵людать специальные условия для открытых AIGC-моделей, указанные в документации. Карточка не сообщает контекстное окно и список поддерживаемых языков.
Pika_v2 — модель генерации изображений по текстовому описанию, опубликованная пользователем digiplay на Hugging Face. В карточке показаны примеры изображений ангела на фоне радужного неба с настройками реалистичности и широкоугольной перспективы; модель распространяется в формате Diffusers с весами PyTorch и Safetensors. Модель предназначена для создания изображений по текстовым запросам. В карточке нет сведений о размере, базовой модели, архитектуре помимо Stable Diffusion, поддерживаемых языках или длине контекста. Указана лицензия other, поэтому конкретные условия использования следует проверять в репозитории.
Robo-Diffusion 2 (base) — модель генерации изображений по текстовому описанию, созданная методом DreamBooth путем дообучения Stable Diffusion 1.4. Она предназначена для создания изображений роботов в характерном стиле модели; для его активации автор рекомендует помещать слова «nousr robot» ближе к началу запроса и использовать негативные промпты для настройки результата. Репозиторий содержит веса в форматах Diffusers и PyTorch и рассчитан на работу с StableDiffusionPipeline. Модель принимает текстовые запросы на английском языке и генерирует изображения. Распространяется по лицензии OpenRAIL++.
Slpk32/saved — модель LoRA для генерации изображений по текстовому описанию, опубликованная пользователем Slpk32. Она предназначена для использования в экосистеме Diffusers поверх базовой модели lopi999/Wan2.2-I2V_General-NSFW-LoRA; в карточке также указан тег text-to-image. Пример виджета демонстрирует генерацию изображения по текстовому запросу, однако подробное назначение и специализация адаптера не описаны. Известно, что это адаптер LoRA, но его размер, точная архитектура, поддерживаемые языки, рабочий контекст, требования к аппаратному обеспечению и конкретные сильные стороны не указаны. В метаданных отсутствует instance prompt. README не содержит сведений о лицензии и явных ограничениях использования, поэтому условия распространения и применения определить нельзя.
SegMoE-SD-4x2-v0 — модель генерации изображений по текстовому описанию, разработанная Segmind. Это диффузионная смесь экспертов, созданная без дополнительного обучения из четырёх моделей Stable Diffusion 1.5. Модель предназначена для генерации изображений с учётом текстового запроса; её можно использовать через библиотеку segmoe и Diffusers. Подход объединяет знания нескольких дообученных экспертных моделей и призван улучшать соответствие изображения запросу и его визуальную точность. При этом качество зависит от выбранных экспертов, а без обучения модель не обязательно заметно превосходит каждый из них. Скорость и потребление памяти не оптимизированы. Модель не предназначена для создания достоверных изображений людей, событий или фактов о реальном мире и не подходит для задач, требующих высокой точности. Лицензия — Apache 2.0.
Stable Audio Open 1.0 — модель Stability AI для генерации стереозвука по текстовому описанию. Она создаёт аудио длительностью до 47 секунд с частотой 44,1 кГц; архитектура включает автоэнкодер, T5 для кодирования текста и трансформерную диффузионную модель, работающую в латентном пространстве. Модель поддерживается библиотеками stable-audio-tools и diffusers. Модель подходит для создания звуковых эффектов, полевых записей и музыкальных фрагментов по английским запросам. Она лучше справляется со звуковыми эффектами и полевыми записями, чем с музыкой, и не умеет реалистично генерировать вокал. Качество может различаться между музыкальными стилями и культурами; для получения нужного результата может потребоваться настройка запроса. Для обучения использовались аудиозаписи Freesound и Free Music Archive с лицензиями CC0, CC BY и CC Sampling+; текстовое условие основано на предварительно обученной модели t5-base. Лицензия модели — Stability AI Community License; для коммерческого использования требуется обратиться к условиям коммерческой лицензии Stability AI.
rsxdalv/suno — вариант модели Bark, разработанной Suno, с крупным набором весов для генерации аудио по тексту. Это каскад из трёх трансформерных моделей: первая преобразует текст в семантические токены, а две следующие — в аудиотокены кодека EnCodec. Модель предназначена для синтеза реалистичной многоязычной речи, а также музыки, фонового шума, простых звуковых эффектов и невербальных вокализаций — например, смеха, вздохов и плача. Репозиторий содержит веса PyTorch и Safetensors; автор README также описывает варианты bf16, которые занимают меньше места и ускоряют инференс при использовании в этом формате. Поддерживаются английский, немецкий, испанский, французский, хинди, итальянский, японский, корейский, польский, португальский, русский, турецкий и китайский языки. Лицензия — MIT. Выходные данные не фильтруются; авторы предупреждают о возможности злоупотреблений, включая имитацию голоса.
UniPic2-Metaquery-GRPO-9B — мультимодальная модель Skywork на 9 млрд параметров, дообученная на UniPic2-Metaquery-9B с улучшенным отображением текста на изображениях. Она предназначена для сквозного понимания изображений, генерации изображений по текстовому запросу и редактирования изображений. Модель объединяет задачи работы с текстом и изображениями и распространяется в формате safetensors для Transformers. Для запуска требуется около 40 ГБ видеопамяти; для видеокарт NVIDIA RTX 40-й серии разработчики рекомендуют вариант UniPic2-Metaquery-GRPO-Flash. Модель опубликована по лицензии MIT. Карточка не приводит сведений о поддерживаемых языках или длине контекста.
Agartha (ChadStyle) — модель генерации изображений по текстовому описанию, опубликованная пользователем Yntec и работающая через StableDiffusionPipeline в библиотеке diffusers. Карточка демонстрирует генерацию стилизованных иллюстраций и приводит пример промпта для детализированного мультяшного изображения в духе журнальной рекламы; теги также указывают на абстрактную и сюрреалистическую стилистику. Модель принимает текстовые промпты и выдаёт изображения. Репозиторий содержит веса в формате safetensors для diffusers; лицензия — CreativeML OpenRAIL-M. README советует сверяться с исходной страницей за списком триггерных слов, поэтому управление стилем может зависеть от специальных слов в промпте.
AngelBreed-v4 — модель генерации изображений по текстовому описанию в формате Diffusers, опубликованная пользователем eienmojiki. В README указано, что это конверсия модели автора JujoHotaru для использования с библиотекой Diffusers, а не официальная публикация автора. Метаданные относят её к Stable Diffusion и аниме-стилю; репозиторий содержит веса safetensors. Модель предназначена для создания изображений по текстовым запросам, в том числе иллюстраций в аниме-стиле. Указана лицензия CreativeML OpenRAIL-M. Карточка не сообщает размер модели, длину контекста, конкретные языковые ограничения или оценку качества.
Карточка модели KiyoEditz/animagine-xl-4.0 на Hugging Face совпадает с карточкой cagliostrolab/animagine-xl-4.0, поэтому описание составлено по ней. Animagine XL 4.0 — диффузионная модель генерации и редактирования изображений в аниме-стиле, разработанная Cagliostro Research Lab на основе Stable Diffusion XL 1.0. Модель дообучена на более чем 8,4 млн изображений и рассчитана на создание иллюстраций по текстовым запросам. Она поддерживает работу через Diffusers, ComfyUI и Stable Diffusion WebUI; карточка описывает вариант Animagine XL 4.0 Opt с улучшенной стабильностью, анатомией, снижением шума и цветопередачей. Для управления результатом модель лучше использовать с запросами в формате тегов и специальными тегами качества, рейтинга и периода. Поддерживаемый язык в метаданных — английский. Лицензия — CreativeML Open RAIL++-M (в метаданных Hugging Face указана OpenRAIL++).
animeTWO — модель генерации изображений по текстовому описанию, опубликованная Yntec. Это версия без EMA и представлена в формате Diffusers с весами safetensors. В карточке приведён пример промпта для создания стилизованного изображения в эстетике аниме, включая персонажей и иллюстрации с атмосферными и фактурными деталями. Модель предназначена для преобразования текстового промпта в изображение. README отмечает, что animeTWOz включает ZVAE, тогда как в animeTWO он не встроен. Модель опубликована под лицензией CreativeML OpenRAIL-M; её условия использования следует учитывать при создании и распространении изображений.
ARC-Qwen-Video-7B — мультимодальная модель TencentARC для понимания коротких видео из реального мира. Она дообучена на базе Qwen/Qwen2.5-VL-7B-Instruct и сочетает архитектуру Qwen2.5-VL с аудиоэнкодером. Модель принимает видео с аудио и формирует текстовые ответы; для кадров используется фиксированное разрешение 392 × 292 пикселя. Модель предназначена для вопросов о содержании видео, рассуждений о событиях и временной привязки действий. В README приведены результаты оценки на наборах Video-MMMU, MMVU, Temp-Compass, Video-Holmes, Video-MME, VCR-Bench, MV-Bench, ShortVid-Bench и Charades-STA; большинство оценок, кроме VideoMMMU и Charades-STA, рассчитано на вопросах с выбором ответа. Размер модели — 7,1 млрд параметров, контекст — до 128 000 токенов. Выпущена под лицензией Apache-2.0. README также описывает отдельную модель ARC-Qwen-Video-7B-Narrator, которая выводит описания с временными метками, идентификаторы говорящих и текст распознавания речи. Эти функции нельзя автоматически приписывать рассматриваемой модели. Для инференса указаны проверенные окружения NVIDIA H20 с CUDA 12.4 и A100 с CUDA 12.1; использование требует настройки зависимостей и поддерживаемой среды.
zhangj1an/AudioX — производная версия AudioX, основанная на HKUSTAudio/AudioX. Модель использует условную диффузионную архитектуру и предназначена для генерации аудио и музыки по текстовым и мультимодальным сигналам. В исходном описании AudioX представлен модуль Multimodal Adaptive Fusion для согласования и объединения входных данных; среди заявленных сценариев есть генерация музыки по видео. Репозиторий распространяет веса в форматах Diffusers и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка не сообщает подробностей о поддерживаемых языках, длине аудио или качестве результатов этой версии.
CleanLinearMix_nsfw — модель для генерации изображений по текстовому описанию, опубликованная пользователем digiplay на Hugging Face. В карточке указано, что примеры изображений созданы через API Hugging Face; приведённый промпт описывает девушку на пикнике у озера среди цветущей сакуры. Модель предназначена для преобразования текстовых промптов в изображения и распространяется в форматах Diffusers и safetensors. Метаданные помечают её как Stable Diffusion и указывают предупреждение о контенте, не подходящем для всех аудиторий. Лицензия обозначена как other, поэтому конкретные условия использования по карточке определить нельзя.
John6666/cyberrealistic-pony-semi-realistic-semi-real-v30-sdxl — производная text-to-image модель, опубликованная John6666 на Hugging Face и основанная на CyberRealistic Semi Real от Cyberdelia. Репозиторий использует Diffusers и формат safetensors; карточка указывает архитектуру StableDiffusionXLPipeline и лицензию fair-ai-public-license-1.0-sd. Модель предназначена для генерации изображений по текстовым запросам в реалистичном и полу-реалистичном стиле, с тематикой Pony и anime. Она принимает текстовые описания и выдаёт изображения. В доступных сведениях не приведены размер параметров и длина контекста; точные показатели качества и подробные ограничения не установлены.
dark-sushi-mix — модель генерации изображений по текстовому описанию, опубликованная в пространстве stablediffusionapi и доступная через ModelsLab. Карточка демонстрирует вызов API с параметрами промпта, негативного промпта, размера изображения, числа шагов и guidance scale; примеры ориентированы на портреты в реалистичном и аниме-стиле. В метаданных указаны StableDiffusionPipeline и форматы Diffusers и PyTorch. Для генерации можно передать текстовый промпт и настройки изображения; пример использует разрешение 512×512 и 30 шагов. Модель рассчитана на сценарий text-to-image и может вызываться через сервис ModelsLab. Лицензия — CreativeML OpenRAIL-M. Карточка не сообщает базовую модель, объём параметров или длину контекста.
Detail Tweaker XL v1.0 — LoRA-модель от AiWise для Stable Diffusion XL, предназначенная для управления уровнем детализации при генерации изображений. Она подключается к базовой модели stabilityai/stable-diffusion-xl-base-1.0 и используется в сценариях text-to-image через Diffusers или совместимые интерфейсы. Модель позволяет увеличивать детализацию при положительном весе и уменьшать её при отрицательном; заявленный рабочий диапазон весов составляет от -3 до 3, а рекомендуемая отправная точка — 1,5 с последующей настройкой в зависимости от промпта и числа шагов сэмплирования. Для активации указаны триггерные слова concept, detailed, detail, enhancer и undetailed. Примеры демонстрируют применение к фотореалистичным, художественным, аниме- и фантазийным сценам, однако конкретные характеристики архитектуры, размер, языковая поддержка и ограничения качества не описаны. Модель распространяется в формате Safetensors по лицензии CreativeML OpenRAIL-M. README не содержит сведений об авторе-разработчике помимо идентификатора AiWise, а также не уточняет условия коммерческого использования и дополнительные ограничения лицензии.
Карточка модели arshammanukyan/dreamshaper-xl на Hugging Face совпадает с карточкой Lykon/dreamshaper-xl-1-0, поэтому описание составлено по ней. Dreamshaper SDXL-1-0 — модель генерации изображений по текстовому описанию, разработанная Lykon. Это дообученная версия Stable Diffusion XL Base 1.0 от Stability AI; модель рассчитана на создание художественных изображений и поддерживает запуск через Diffusers. Репозиторий содержит веса в форматах Diffusers и safetensors. Модель подходит для генерации иллюстраций и других изображений по текстовым запросам. В карточке отмечены художественный стиль и anime. Указана лицензия OpenRAIL++; применяйте модель с учётом её условий использования.
DucHaiten Anime 768 — модель генерации изображений в стиле аниме, опубликованная Yntec. Это вариант модели DucHaiten Anime с разрешением 768 пикселей, в формате FP16 без EMA и со встроенным VAE Waifu 1.4 для инференса. Репозиторий предназначен для использования с библиотекой Diffusers и содержит веса PyTorch в формате safetensors. Модель принимает текстовое описание и генерирует изображение. Она подходит для создания аниме-иллюстраций по промптам. В карточке указана лицензия CreativeML OpenRAIL-M; она предусматривает условия использования и ограничения, изложенные в самой лицензии.
Карточка модели azr43l/EasyFluff на Hugging Face совпадает с карточкой zatochu/EasyFluff, поэтому описание составлено по ней. EasyFluff — модель генерации изображений по текстовому описанию, опубликованная zatochu. Это чекпойнт Stable Diffusion в формате Diffusers с файлами PyTorch и Safetensors; в версии V10-FunnerEdition изменены UNet и цветопередача, чтобы уменьшить шум, чрезмерную детализацию, артефакты в области склеры глаз и оранжево-коричневый оттенок. Автор также отмечает, что CLIP должен лучше реагировать на запросы, сформулированные естественным языком, хотя это не гарантирует понимание тонких нюансов. Модель предназначена для создания изображений из текстовых запросов. Для загрузки требуется конфигурация, включающая режим v-prediction; автор рекомендует CFG Rescale со значением 0,7 и описывает необходимые настройки для ComfyUI. В README не указаны базовая модель, лицензия, поддерживаемые языки или размер чекпойнта, поэтому эти характеристики здесь не уточняются.
Elldreth's Dream Mix — модель генерации изображений по текстовому описанию, опубликованная Yntec. Это версия elldrethSDreamMix_v10 в формате safetensors с встроенным zVAE; в метаданных указан StableDiffusionPipeline и библиотека diffusers. Модель предназначена для создания иллюстраций, в том числе аниме-персонажей и художественных изображений по промптам. В README приведён пример промпта для изображения милой девушки в эстетике рекламы 1940-х и аниме 1980-х, что показывает подходящие сценарии стилизации и создания персонажей. Модель распространяется по лицензии CreativeML OpenRAIL-M. Количество параметров и контекстная длина для генерации изображений неприменимы к указанному сценарию.
Это 8-битная MXFP8-квантизация FLUX.2 [klein] 9B от Black Forest Labs, подготовленная AutoRound методом RTN (round-to-nearest, без итераций). Модель предназначена для генерации изображений по текстовому описанию и запускается через vllm-omni в режиме text-to-image. В README указаны веса и активации W8A8, размер групп 32 и объём около 10 ГБ против примерно 18 ГБ для версии BF16. В оценке на разрешении 1024×1024 и четырёх шагах результаты MXFP8 близки к BF16: GenEval 0,853 против 0,856, DrawBench CLIP 32,93 против 32,81 и CLIP-IQA 69,63 против 69,64. Метаданные связывают модель с базовой FLUX.2 [klein] 9B, описанной как модель генерации и редактирования изображений с референсами, однако эта карточка позиционирует данную сборку для text-to-image. Лицензия указана как other; конкретные условия следует проверять у автора и базовой модели.
Eviation/flux-imatrix — набор экспериментальных GGUF-квантизованных вариантов модели FLUX.1-dev, разработанной Black Forest Labs. Модель предназначена для генерации изображений по текстовому описанию и запуска в совместимых средах, включая ComfyUI-GGUF и, в зависимости от варианта, stable-diffusion.cpp на CPU, CUDA или Vulkan. В репозитории представлены динамически квантизованные версии с форматами IQ, TQ и Q, размерами примерно от 2,41 до 5,05 ГБ; квантизация выполнена с использованием importance matrix для снижения размера и требований к ресурсам при сохранении качества насколько это возможно. Ключевые характеристики исходной архитектуры, число параметров, поддерживаемые языки и максимальный контекст в README не указаны. Доступны разные уровни квантизации, что позволяет выбирать компромисс между размером файла, скоростью и качеством генерации. По приведённой оценке некоторые варианты дают приемлемые результаты, тогда как наиболее агрессивно сжатые версии могут заметно ухудшать качество; автор отдельно предупреждает, что элементы набора могут быть неисправными или экспериментальными. Модель распространяется по лицензии flux-1-dev-non-commercial-license, обозначенной как other, поэтому перед использованием необходимо учитывать ограничения этой лицензии. Совместимость с Forge в README указана как неопределённая.
GingerMix — объединённая модель генерации изображений от Hemlok на основе LimeMixV2. Она предназначена для создания изображений по текстовым запросам и рассчитана на использование в Stable Diffusion через Diffusers или интерфейсы вроде AUTOMATIC1111. Автор отмечает улучшенную выразительность и цветовые тона; в карточке также описаны варианты Ginger MixR с улучшенной композицией и фоном и Ginger V1, объединяющий LimeMixV2 с PastelMix. В README рекомендуются сэмплеры DDIM или DPM++ SDE Karras, около 20 шагов, CLIP skip 2 и CFG Scale 5–8. Для img2img указана сила денойзинга 0,5–0,65; автор советует использовать как можно меньше негативных промптов. Лицензия — CreativeML OpenRAIL-M. Автор допускает создание SFW- и NSFW-изображений на усмотрение пользователя и просит не публиковать NSFW-контент в общественных местах.
Hassan Blend 1.2 — модель генерации изображений по текстовому описанию, представленная пользователем Yntec на Hugging Face. Карточка позиционирует её как улучшенный вариант Hassan Blend 1.5.1.2 для большинства задач, с оговоркой, что фотореализм у предыдущей версии лучше; в веса встроен VAE MoistMixV2. Модель предназначена для создания иллюстраций и концепт-арта по текстовым промптам. В примере показан стилизованный чиби-персонаж с детализированными глазами и цифровой живописью. Репозиторий распространяется в формате Diffusers с весами safetensors и лицензией CreativeML Open RAIL-M.