I.10Видео, анимация и 3D
В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
3 279 моделейYntec/DucHaiten-FANCYxFANCY — модель генерации изображений по текстовому описанию из семейства Stable Diffusion, опубликованная под именем DucHaiten. Карточка демонстрирует генерацию детализированной мультяшной иллюстрации с персонажем в стиле чиби, но не уточняет архитектуру, размер модели или контекст генерации. Модель предназначена для создания изображений по промптам; в примере показана сказочная сцена с девушкой на волне в банке, с детализированными глазами и одеждой. Репозиторий использует Diffusers и форматы PyTorch/Safetensors. Лицензия — CreativeML Open RAIL-M, условия которой ограничивают отдельные способы использования.
DucHaiten Retro — модель генерации изображений по текстовому описанию, опубликованная Yntec в формате Diffusers. Это версия ретро-модели DucHaiten с VAE 840K, встроенным в веса; примеры показывают стилистику ретрофутуризма, винтажных кинематографических кадров, плёночного зерна и моды прошлых десятилетий. Модель предназначена для создания иллюстраций и стилизованных изображений по промптам. Репозиторий использует Stable Diffusion 1.5 и библиотеку Diffusers, а веса представлены в формате safetensors. Примеры демонстрируют детализированные портреты, обложки в духе фантастических журналов и кадры, имитирующие аналоговое кино. Лицензия CreativeML OpenRAIL-M задаёт условия использования и ограничения на распространение и применение модели.
ebara-pony — модель генерации изображений по текстовому описанию на основе Stable Diffusion XL, представленная в виде пайплайна Diffusers и весов safetensors. По README это тестовый merge вариантов ebara_pony и Pony; автор описывает версии с изменениями в выражении глаз и яркости кожи. Для генерации автор рекомендует добавлять в положительный промпт теги score, а в отрицательный — source и realistic. Модель предназначена для создания изображений по текстовым промптам и настройки пользователем под свои предпочтения. Лицензия указана как other, поэтому условия использования следует сверить с файлами репозитория.
epiCVision — модель генерации изображений по текстовому описанию, созданная как слияние epicRealism и RealisticVision. Автор описывает её как смесь этих моделей и приводит рецепт слияния: взвешенное объединение с весом 0,70 для RealisticVision и предварительный этап Add Difference 1.0 с epicRealism и v1-5-pruned-fp16-no-ema. Модель предназначена для создания фотореалистичных и полуреалистичных изображений, в том числе портретов и изображений в аналоговом стиле, по англоязычным запросам. Репозиторий содержит веса Diffusers в формате PyTorch Safetensors. Указана лицензия CreativeML Open RAIL-M. Карточка не приводит размер модели или длину контекста; генерация зависит от текстового запроса и не гарантирует соответствия изображения всем его деталям.
GhostMixV1.2VAE — модель генерации изображений по текстовому описанию, опубликованная пользователем digiplay на Hugging Face. Метаданные указывают на совместимость с Diffusers и Stable Diffusion; веса представлены в форматах PyTorch и Safetensors. README не сообщает дополнительных характеристик модели или её разработчика. Модель предназначена для создания изображений по текстовым запросам в сценариях text-to-image. Лицензия указана как other, поэтому условия использования следует уточнить на странице репозитория. По доступным данным нельзя установить базовую модель, размер, поддерживаемые языки запросов или конкретные ограничения качества.
EarthnDusk/IdentityDisorder_2pt5 — модель генерации изображений по текстовому описанию на базе Stable Diffusion. Карточка указывает на использование библиотеки Diffusers и форматов PyTorch и safetensors; среди тегов модели есть anime. Примеры генерации подготовлены с HI RES FIX и ADetailer, поэтому их вид может отличаться от результатов без этих дополнительных инструментов. Модель предназначена для создания изображений по текстовым запросам, в том числе в аниме-стиле. Автор сообщает, что модель может генерировать контент для взрослых; в составе есть несколько смесей с NSFW-направленностью. Указана лицензия CreativeML OpenRAIL-M. README также просит указывать авторство при слиянии и запрещает повторную загрузку на Civitai без разрешения.
LeX-Enhancer — модель-улучшатель текстовых промптов, разработанная авторами проекта LeX-Art. Она дообучена с помощью LoRA на базе DeepSeek-R1-Distill-Qwen-14B на 60 856 парах исходных и улучшенных описаний, чтобы превращать краткие подписи в более подробные, визуально насыщенные промпты для генерации изображений. Модель использует плотную архитектуру Qwen2 и доступна в формате safetensors; метаданные указывают 14 млрд параметров и контекст до 131 072 токенов. Основной сценарий — подготовка промптов для высококачественной генерации изображений. В README не приведены сведения о поддерживаемых естественных языках или оценках качества. Лицензия — MIT.
LibreFLUX — модель генерации изображений по тексту, созданная Jimmy Carter на основе FLUX.1-schnell и опубликованная под лицензией Apache 2.0. Она предназначена для генерации изображений и как основа для дообучения на новых распределениях данных. Модель восстанавливает полную длину контекста T5, использует маскирование внимания и возвращает classifier-free guidance. Автор сообщает, что из модели удалена большая часть эстетической тонкой настройки и DPO FLUX; поэтому изображения могут быть менее привлекательными, чем у базовой FLUX.1-schnell. Для инференса README указывает diffusers 0.30.3 и рекомендует guidance scale от 2 до 5; при размытии или необычных тенях советует снизить значение.
LusterMix v1.5 — модель генерации изображений по текстовому описанию, опубликованная пользователем digiplay. Репозиторий содержит веса в формате Diffusers, PyTorch и safetensors; карточка относит модель к семейству Stable Diffusion. Модель предназначена для создания изображений по текстовым запросам. В README приведены примеры изображений, однако подробности об обучении и специфических художественных возможностях не описаны. Указана лицензия other, поэтому условия использования следует проверять в исходной карточке модели.
MeinaMix — модель генерации изображений по текстовому описанию, опубликованная Stable Diffusion API и доступная через ModelsLab. Она предназначена для создания портретов и иллюстраций, включая изображения с аниме-чертами, концепт-арт и цифровую живопись. В примере API указаны параметры ширины и высоты изображения, число шагов генерации, guidance scale, негативный промпт и настройки улучшения промпта; пример использует разрешение 512 × 512 и 30 шагов. Модель распространяется в форматах Diffusers и PyTorch и использует лицензию CreativeML OpenRAIL-M. Пример показывает генерацию изображений, но не описывает архитектуру, число параметров или поддерживаемые языки. Качество результата зависит от промпта и параметров генерации; в примере предусмотрены негативный промпт и отключаемый safety checker.
MingTok-Vision — визуальный токенизатор семейства MingTok, разработанный inclusionAI для единого представления изображений в задачах визуального понимания и генерации. README описывает непрерывное латентное пространство без векторной квантизации и трёхэтапную архитектуру: кодирование, расширение представления и реконструкцию. Модель предназначена для извлечения визуальных признаков и восстановления изображений с сохранением мелких деталей и общей структуры. Маскированное моделирование и многоуровневое обучение формируют компактное семантически насыщенное представление, которое может поддерживать более быстрое и стабильное авторегрессионное обучение. Репозиторий использует Transformers и формат safetensors; заявлена лицензия Apache-2.0. Карточка не сообщает размер модели или длину контекста.
Motif-Technologies разработала Motif VAE — сверточный трёхмерный причинный вариационный автоэнкодер (VAE) для кодирования и восстановления изображений и видео. Модель использует детерминированный энкодер без attention, латентное пространство из 128 каналов и сжатие по времени в 4 раза и по пространству в 32 раза. Например, ролик размером 256×256 пикселей и длиной 17 кадров кодируется в латентный тензор размером 128×5×8×8. При обработке одного изображения VAE работает в режиме T=1. Модель предназначена прежде всего для высококомпрессионной токенизации видео и изображений перед обучением и запуском латентных диффузионных моделей. Сжатие уменьшает число пространственно-временных токенов и вычислительные затраты последующей модели; по приведённым в карточке сравнениям, VAE также хорошо сохраняет детали документов, восстанавливает изображения и видео и формирует латентное пространство, подходящее для диффузионного моделирования. Для работы с латентами в диффузионном процессе карточка показывает их нормализацию с помощью параметров scale и shift с последующим обратным преобразованием перед декодированием. Весы распространяются в формате safetensors через библиотеку diffusers; указана лицензия MIT. Карточка не приводит ограничений применимости, а оценки качества относятся к описанным в ней наборам данных и протоколам сравнения.
MysticXXX_KREA2_v2.safetensors — это LoRA-адаптер для генерации изображений по текстовому описанию, разработанный пользователем или организацией uzumix. Модель предназначена для использования с базовой моделью krea/Krea-2-Turbo в совместимых инструментах и библиотеках, включая Diffusers. Из доступных данных известно, что адаптер относится к семейству diffusion LoRA и работает в сценариях text-to-image. README не содержит сведений о размере адаптера, архитектуре базовой модели, поддерживаемых языках, длине контекста, конкретном визуальном стиле, рекомендуемых параметрах генерации или ограничениях качества. Лицензия и условия коммерческого либо некоммерческого использования также не указаны, поэтому их следует уточнить по лицензии базовой модели и странице репозитория.
inu-ai разработала niji-diffusion-xl-base-1.0 — модель генерации изображений на основе Stable Diffusion XL Base 1.0, настроенную на аниме и иллюстративную стилистику. По карточке, модель обучали на изображениях из набора niji-v5: применяли LoRA-файнтюнинг, а затем объединяли адаптеры с SDXL; в истории также описаны полноточечное дообучение, дополнительные слияния и корректировки. Репозиторий содержит веса в форматах Diffusers и Safetensors. Модель предназначена для создания аниме-иллюстраций по текстовым промптам, например персонажей и сцен с цветочными мотивами. Автор предупреждает, что обучение было ограниченным по объёму, поэтому длинные промпты с множеством элементов могут ослаблять характерный стиль niji. Лицензия — CreativeML Open RAIL++-M.
NOESIS-Hy-MT2-7.5B-BF16 — модель перевода AMAImedia для профессионального многоязычного дубляжа. Это BF16-чекпойнт, объединяющий базовую HunYuan Dense V1 модель Tencent Hy-MT2-7.5B и дообучение SFT-LoRA на внутреннем корпусе дубляжа NOESIS. Архитектура — плотная причинно-языковая модель с 7,5 млрд параметров; метаданные указывают контекст до 262 144 токенов. Модель предназначена для перевода реплик между исходным и целевым языками в конвейере дубляжа. Обучение учитывает ограничения длительности реплик и синхронизацию речи, поэтому перевод может быть короче буквального. Карточка заявляет поддержку 33 основных и пяти этнических языков, включая кантонский; среди перечисленных кодов метаданных есть китайский, английский, русский, французский, испанский, японский, арабский и другие. В небольшом внутреннем A/B-тесте авторы сообщают об улучшении всех трёх метрик относительно указанного базового варианта; отдельный тест FLORES-200 показывает, что модель уступает одному из сравниваемых переводчиков и что буквальные метрики могут недооценивать её пригодность для дубляжа. Для работы указан формат Safetensors BF16, размер весов около 14 ГБ и использование Transformers с `trust_remote_code=True`. Лицензия — Tencent HY Community License Agreement: README указывает территориальное исключение ЕС, ограничение в 100 млн MAU и запрет использовать выходы для обучения других ИИ-моделей; перед применением следует сверить условия с полным текстом лицензии.
NovelAIRemix — модель генерации изображений по текстовому описанию, созданная смешиванием NovelAI с Stable Diffusion 1.5. Согласно рецепту в карточке, итоговая модель получена последовательным объединением весов SD 1.4, SD 1.5 и вариантов NovelAI; репозиторий подготовлен для использования с библиотекой Diffusers и содержит веса в формате safetensors. Модель предназначена для создания иллюстраций, в том числе аниме-изображений, по текстовым промптам. В примере карточки показана генерация детализированного чиби-персонажа и упомянуты художественные стили. Указана лицензия CreativeML OpenRAIL-M. Данные карточки не сообщают размер модели, длину контекста или перечень поддерживаемых языков.
OpenAudio S1 — многоязычная модель синтеза речи от разработчиков проекта Fish Speech. Репозиторий описывает семейство из полной версии S1 размером 4B и дистиллированной S1-mini размером 0,5B; в метаданных для этой модели указаны архитектура dual_ar, плотная архитектура и формат PyTorch. Обе версии обучались с применением RLHF. Модель преобразует текст в речь на китайском, английском, немецком, японском, французском, испанском, корейском, арабском, нидерландском, русском, итальянском, польском и португальском языках. Она поддерживает маркеры эмоций, интонации и некоторых звуковых проявлений, например смеха, шёпота и плача, чтобы управлять выразительностью синтеза. В README приведены результаты Seed TTS Eval для английского языка, но они не гарантируют аналогичного качества для всех языков и сценариев. Для использования весов применяется лицензия CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и предусматривает условия атрибуции и распространения производных материалов.
Это неофициальная конверсия оригинальной модели Ogkalu Comic Diffusion для работы с библиотекой Diffusers. Модель Stable Diffusion предназначена для создания изображений по текстовым описаниям в стиле комиксов. Репозиторий содержит веса в форматах Diffusers и PyTorch. Лицензия — CreativeML Open RAIL-M.
OpenImages16 Prompted Mixed LISA-13B — дообученная модель ken101do для сегментации объектов на изображениях по текстовым запросам. Она создана на базе xinlai/LISA-13B-llama2-v1 с помощью LoRA на данных LISA ReasonSeg и OpenImages16Prompted; декодер масок SAM во время обучения был заморожен. Модель насчитывает 12,9 млрд параметров, использует архитектуру LLaVA и контекст до 4096 токенов. Модель предназначена для поиска и выделения запрошенных объектов на изображениях, в том числе по сложным запросам с рассуждением. Валидационные показатели составили gIoU 0,2733 и cIoU 0,4910. Для запуска нужны кодовая база LISA и контрольная точка SAM ViT-H. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.
AUTOMATIC/promptgen-lexart — языковая модель на архитектуре GPT-2, дообученная на базе distilgpt2 командой AUTOMATIC. Она предназначена для генерации промптов для Stable Diffusion 1.5; обучение проводилось в течение 100 эпох на 134 819 промптах, собранных с lexica.art. Модель принимает текст и генерирует текст, а её контекст составляет 1024 токена. Модель представлена в формате PyTorch и распространяется по лицензии MIT. Она специализируется на англоязычных промптах для генерации изображений. Качество и уместность результатов могут зависеть от формулировки исходного запроса; обучение на промптах с сайта lexica.art может отражать особенности и ограничения этого набора данных.
Qwen-Image-2.1-GGUF — это квантизированные файлы модели Qwen-Image-2.1 в формате GGUF. Исходную модель разработала команда Qwen, а конвертацию выполнил leejet с использованием проекта stable-diffusion.cpp. Модель предназначена для генерации изображений по текстовому описанию (text-to-image). В README заявлена поддержка английского и китайского языков. Файлы рассчитаны на использование со stable-diffusion.cpp, а также в ComfyUI через пользовательский узел leejet/ComfyUI-GGUF; приведён пример рабочего процесса для генерации изображений. Сведения об архитектуре, количестве параметров, размере контекста, точных вариантах квантования и других технических характеристиках не указаны. К сильным сторонам относятся формат GGUF и совместимость с указанными инструментами для локального запуска и интеграции в рабочие процессы генерации изображений. Ограничения связаны с отсутствием в README подробностей о производительности, требованиях к оборудованию, качестве генерации и поддерживаемых режимах помимо text-to-image. Лицензия квантизированных файлов соответствует лицензии исходной модели Qwen Research License Agreement.
Это экспериментальная квантизированная версия модели Qwen-Image, подготовленная для Diffusers. В ней используется трансформер диффузии Nunchaku Lite INT4 с рангом 32 и текстовый энкодер bitsandbytes NF4 в 4-битном формате; токенизатор, планировщик и VAE унаследованы от базового конвейера Qwen/Qwen-Image. Модель создаёт изображения по текстовым запросам на английском и китайском языках. Квантизация снижает пиковое использование видеопамяти по сравнению с BF16-конвейером в описанном тесте, однако на NVIDIA Blackwell версия INT4 работала медленнее FP4, а производительность и качество могут отличаться от исходной модели и среды выполнения Nunchaku. Для запуска нужны CUDA-совместимая среда PyTorch, Diffusers с поддержкой Nunchaku Lite, пакет kernels и bitsandbytes. Модель распространяется по лицензии Apache-2.0.
RainMix — модель генерации изображений по текстовому описанию, опубликованная Hemlok и предназначенная для использования через Diffusers или интерфейсы вроде WebUI. Это merge-модель на основе ACertainThing, созданная с изменениями рецепта и моделей RainierMix. В карточке также упомянут вариант fp16 со смешанным VAE. Модель ориентирована на создание иллюстраций по промптам; примеры в карточке показывают персонажа в аниме-стиле. Автор рекомендует семплер DPM++ SDE Karras, около 50 шагов или больше, Clip Skip 2 и CFG Scale 5–8; для негативного промпта предлагается EasyNegative. Лицензия CreativeML OpenRAIL-M допускает коммерческое использование и распространение при соблюдении её ограничений.
Realism Engine Ideogram 4 + Krea 2 v3.1 — модель типа LoRA для генерации изображений по текстовому описанию в экосистеме Diffusers. Модель опубликована пользователем или организацией uzumix и предназначена для использования поверх базовой модели krea/Krea-2-Turbo. Название указывает на ориентацию на реалистичную визуальную стилистику и совместимость с подходами Ideogram 4 и Krea 2, однако README не содержит подробного описания принципов работы или подтверждённых результатов. Из известных характеристик: это текстово-изобразительная diffusion-модель в формате LoRA, с базовой моделью krea/Krea-2-Turbo. Данные о количестве параметров, архитектуре адаптера, поддерживаемых языках, размере контекста, требованиях к памяти, настройках силы LoRA и конкретных ограничениях отсутствуют. Лицензия и условия коммерческого или иного использования в README не указаны; перед применением необходимо проверить условия базовой модели и страницы репозитория.
Vishnou разработал модель генерации изображений sd-laion-art, дообучив Stable Diffusion 2.1 на датасете fantasyfish/laion-art. Модель принимает текстовые запросы и создаёт изображения; она предназначена для генерации иллюстраций по описаниям, в том числе в художественном стиле, представленном в обучающих данных. Модель распространяется в формате Diffusers с весами Safetensors и использует лицензию CreativeML OpenRAIL-M. В README указаны обучение в течение 100 эпох, разрешение изображений 512 пикселей и смешанная точность bf16. Другие сведения о параметрах генерации и качестве результатов в карточке не приведены.
SDXL-Turbo NVFP4 — квантизированная версия модели генерации изображений SDXL-Turbo от Stability AI, подготовленная автором репозитория с помощью NVIDIA Model-Optimizer 0.46.1 методом посттренировочной квантизации. Модель работает через StableDiffusionXLPipeline и создаёт изображения по текстовому описанию; показан пример фотореалистичного портрета, созданного за 4 шага при guidance 0.0. Квантизация UNet в NVFP4 уменьшает размер весов примерно с 5,13 до 1,96 ГБ. Для восстановления контрольной точки нужен ModelOpt; экспортированные safetensors нельзя загрузить обычным вызовом from_pretrained. Для инференса NVFP4 требуются GPU архитектуры Blackwell и совместимые ядра ModelOpt либо TRT-LLM/SGLang. Репозиторий содержит также формат Diffusers и контрольную точку PyTorch ModelOpt. Лицензия в предоставленных данных не указана.
Карточка модели RedbeardNZ/stable-audio-open-1.0 на Hugging Face совпадает с карточкой stabilityai/stable-audio-open-1.0, поэтому описание составлено по ней. Stable Audio Open 1.0 — модель Stability AI для генерации стереозвука по текстовому описанию. Она создаёт аудио длительностью до 47 секунд с частотой 44,1 кГц; архитектура включает автоэнкодер, T5 для кодирования текста и трансформерную диффузионную модель, работающую в латентном пространстве. Модель поддерживается библиотеками stable-audio-tools и diffusers. Модель подходит для создания звуковых эффектов, полевых записей и музыкальных фрагментов по английским запросам. Она лучше справляется со звуковыми эффектами и полевыми записями, чем с музыкой, и не умеет реалистично генерировать вокал. Качество может различаться между музыкальными стилями и культурами; для получения нужного результата может потребоваться настройка запроса. Для обучения использовались аудиозаписи Freesound и Free Music Archive с лицензиями CC0, CC BY и CC Sampling+; текстовое условие основано на предварительно обученной модели t5-base. Лицензия модели — Stability AI Community License; для коммерческого использования требуется обратиться к условиям коммерческой лицензии Stability AI.
Stable Diffusion Nano 2.1 — облегчённая модель генерации изображений из текста, созданная участниками сообщества во время спринта JAX/Diffusers. Она дообучена на базе stabilityai/stable-diffusion-2-1-base на изображениях размером 128×128 пикселей и предназначена для быстрого прототипирования диффузионных моделей и экспериментов на доступном оборудовании. Модель принимает текстовые запросы и создаёт изображения; карточка демонстрирует, например, акварельное изображение выдры и стилизованную сцену в ночном переулке. По сравнению с полноразмерными моделями она удобна для быстрых экспериментов, но хуже справляется с мелкими деталями, в частности с лицами. Распространяется по лицензии CreativeML Open RAIL-M.
Wavyfusion — модель генерации изображений по текстовому описанию, созданная автором wavymulder методом DreamBooth на базе Stable Diffusion 1.5 с VAE. Она обучена на разнообразном наборе фотографий и картин и предназначена для создания изображений в различных иллюстрированных стилях. Для активации стиля в запросе используется токен «wa-vy style»; автор также предлагает запуск через Gradio Web UI. Модель распространяется в формате Diffusers и Safetensors по лицензии CreativeML OpenRAIL-M. Карточка демонстрирует примеры генерации с разными параметрами и сэмплерами, но не задаёт конкретный размер модели или длину контекста. Результат зависит от текста запроса и выбранных параметров генерации.
ACE-Step 1.5 XL Turbo — вариант модели ACE-Step 1.5 от проекта ACE-Step для генерации музыки и аудио. Это дистиллированная модель с архитектурой DiT Decoder и 3,1 млрд параметров по метаданным; README обозначает вариант как XL 4B. В карточке также указаны библиотека Transformers, формат safetensors и контекст 32 768 токенов. Модель предназначена для генерации аудио по текстовому описанию. Turbo-вариант рассчитан на быстрый вывод за 8 шагов и ориентирован на высокое качество звука; README отмечает, что XL совместима с LM-моделями ACE-Step размером 0,6B, 1,7B и 4B. Для запуска требуется GPU с 12–20 ГБ VRAM в зависимости от квантования и выгрузки на CPU. README сообщает, что обучение использовало лицензированную, royalty-free, общественно доступную и синтетическую музыку, а сгенерированную музыку можно использовать в коммерческих целях. Лицензия репозитория — MIT. Модель генерирует аудио, но сведения о поддерживаемых естественных языках и конкретных аудиоформатах в предоставленных данных отсутствуют.