I.10Видео, анимация и 3D
В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
3 279 моделейhellofantasytime_v1.22 — модель генерации изображений по текстовому описанию, размещённая пользователем digiplay на Hugging Face. Метаданные указывают на Stable Diffusion и использование Diffusers; файлы представлены в форматах PyTorch и safetensors. В карточке приведены примеры генерации фэнтезийных, реалистичных и киберпанк-сцен. Модель предназначена для создания изображений по текстовым запросам. Указанная лицензия — other, поэтому условия использования следует сверить с лицензией и сведениями об исходной модели. Размер и длина контекста не установлены по предоставленным данным.
DeepFloyd IF-I-M-v1.0 — разработанная DeepFloyd и Stability AI модель генерации изображений по тексту. Это первая ступень каскадной пиксельной диффузионной системы IF: она создаёт изображения размером 64×64, которые последующие ступени каскада могут повышать до 256×256 и 1024×1024. В этой ступени около 400 млн параметров; замороженный текстовый энкодер на основе T5 передаёт представления текста в UNet с cross-attention и attention pooling. Модель предназначена для генерации изображений по текстовым запросам и особенно рассчитана на английские описания; поддержка других романских языков слабее. Для запуска доступна через Diffusers, а при выгрузке частей модели в CPU карточка указывает возможность работы примерно с 14 ГБ видеопамяти. Модель не гарантирует фотореализм или достоверное изображение реальных людей и событий, а генерация по неанглийским запросам работает хуже. Обучающие данные включали материалы с насилием и сексуальным содержанием, а результаты могут отражать культурные и социальные предубеждения. Использование регулируется лицензией DeepFloyd IF License Agreement и требует принятия условий лицензии.
LeibyApp/leiby-sa3-small-music-gguf — побитовая копия GGUF-пакета Stable Audio 3 Small Music для запуска на устройстве через sa3.cpp. Пакет включает компоненты DiT в F16, SAME-S в F16 и conditioner в F32; метаданные относят его к базовой модели stabilityai/stable-audio-3-small-music и указывают форматы GGUF F16 и F32. Модель предназначена для генерации музыки и звуковых фрагментов по текстовому описанию. Карточка не сообщает о дополнительном дообучении; лицензия указана как other, поэтому перед использованием следует проверить условия лицензии исходной модели и репозитория.
Miniaturus Potentia V1.2 — модель генерации изображений из текста на базе семейства Stable Diffusion 1.5, разработанная автором dataautogpt3. По карточке, модель обучалась на 220 тысячах изображений с подписями, созданными GPTV, а затем была настроена методом DPO на 3 тысячах отобранных изображений со стилистическими примерами. Автор указывает, что применял методологию, ранее использованную для Proteus. Модель предназначена для создания изображений по текстовым запросам. Для версии 1.2 автор рекомендует CFG 8,5, 35–70 шагов и сэмплер DPM++ 3M SDE с планировщиком Karras; 35 шагов подходят для более быстрой генерации. Репозиторий поддерживает форматы Diffusers, PyTorch и Safetensors. Лицензия — GPL-3.0. В карточке не описаны поддерживаемые языки запросов, разрешение изображений и ограничения по содержанию; качество результата может зависеть от формулировки запроса и параметров генерации.
mistoonRuby 3 — модель преобразования текста в изображения на базе Stable Diffusion, предназначенная для создания иллюстраций в стилях аниме и мультфильма. Модель распространяется в формате Diffusers с весами safetensors; в неё встроен VAE kl-f8-anime2. Модель подходит для генерации персонажей, чиби-иллюстраций и стилизованных сцен по текстовым запросам. В README приведены примеры промптов для портретов персонажей, рекламных иллюстраций и живописных изображений. Модель создана сообществом Yntec. Указана лицензия CreativeML OpenRAIL-M, условия которой распространяются на использование и распространение модели.
ShadoWxShinigamI/mjstyle — дообученная модель генерации изображений по текстовому описанию в стиле, вдохновлённом изображениями из галереи Midjourney. Автор отобрал 35 изображений, отразил их и обучал модель 7000 шагов; рекомендуемый триггерный токен — mjstyle, который советуют добавлять в конец промпта. Модель предназначена для создания настраиваемых иллюстраций по текстовым промптам. В карточке приведены примеры с персонажами, животными, роботами и художественными эффектами; для генерации показаны разрешение 640×640 и параметры нескольких сэмплеров. Репозиторий использует Diffusers и safetensors. Лицензия — OpenRAIL.
NaughtyChildren — смешанная модель генерации изображений, созданная объединением ChildrenStoriesCustom от Zovya и EdgeOfRealism от AreThoseLevel4Plates. В README автор описывает улучшение фонов первой исходной модели и лиц второй; в репозитории указаны форматы Diffusers, PyTorch и Safetensors, а также встроенный zVAE. Модель предназначена для создания изображений по текстовым запросам, в том числе детализированных фотореалистичных портретов и иллюстраций на тему детских историй. Для запуска используется библиотека Diffusers и StableDiffusionPipeline. Репозиторий опубликован по лицензии CreativeML Open RAIL-M. Размер модели и длина контекста в предоставленных данных не указаны.
Paranioar/NEO1_5-2B-SFT — версия с дообучением модели NEO1_5-2B, разработанной для исследований нативных vision-language-моделей. Модель использует смешанный режим Native-Attn и Native-RoPE; указаны 2,2 млрд параметров без эмбеддингов, 40 слоёв и групповое внимание GQA с 16 головами Q и 8 головами KV. Модель предназначена для диалоговых задач с изображениями и исследования обобщения на сценарии с одним или несколькими изображениями, видео и пространственными данными 3D. В метаданных заявлены задачи генерации текста и преобразования изображения и текста, а также интерфейс для вызова инструментов. Репозиторий содержит веса SafeTensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не приводит сведения о контекстном окне и языковой поддержке; качество для отдельных сценариев не оценивается.
misri/noobaiXLNAIXL_epsilonPred10Version — модель генерации изображений по текстовому описанию, опубликованная пользователем misri на Hugging Face. Репозиторий совместим с StableDiffusionXLPipeline и Diffusers; карточка показывает размер 3 млрд параметров и формат Safetensors с тензорами F16. Для генерации подают текстовый запрос, на выходе получается изображение. Карточка не описывает специализированные сценарии, языки или дополнительные сильные стороны модели. Лицензия указана как unknown, поэтому условия использования по доступным данным определить нельзя.
Eugeoter/noob-sdxl-controlnet-canny — модель генерации изображений по текстовому описанию, разработанная пользователем или организацией Eugeoter. Она предназначена для использования в сценариях text-to-image, где управление структурой и контурами изображения осуществляется с помощью ControlNet Canny, выделяющего границы во входном изображении. Модель работает в экосистеме Diffusers и относится к семейству Stable Diffusion XL. В качестве базовой модели указана Laxhar/sdxl_noob. Точные сведения о количестве параметров, длине контекста, поддерживаемых языках и других архитектурных характеристиках в карточке отсутствуют; в метаданных указан английский язык. Модель может быть полезна для управляемой генерации изображений с сохранением заданной композиции или контуров, однако конкретные сильные стороны, ограничения, требования к ресурсам и качество результатов не описаны. Использование регулируется лицензией Fair AI Public License 1.0 SD; подробные условия доступны по указанной в карточке ссылке.
OmniGen2 — открытая мультимодальная модель генерации и понимания изображений, представленная проектом OmniGen2. Она объединяет обработку текста и изображений, используя отдельные пути декодирования для этих модальностей и раздельный токенизатор изображений. Модель предназначена для понимания визуального содержимого, создания изображений по текстовому описанию, редактирования изображений по инструкциям и генерации с учетом изображений-примеров. Модель может анализировать изображение и отвечать текстом, создавать изображения по запросу, вносить в них заданные изменения и комбинировать людей, объекты и сцены из входных изображений для генерации нового результата. Для работы предусмотрена интеграция с Diffusers; README также описывает поддержку CPU offload для снижения потребления видеопамяти. Размер модели и длина контекста в предоставленных данных не приведены. В README заявлены конкурентные результаты в понимании изображений и высокое качество генерации и редактирования, но конкретные ограничения качества не перечислены. Результаты редактирования зависят от настроек, в частности от баланса между следованием тексту и сходством с исходным изображением; снижение требований к памяти может замедлить генерацию. Лицензия Apache-2.0.
OmniVoice-bfloat16 — версия многоязычной модели синтеза речи OmniVoice, подготовленная сообществом mlx-community для Apple Silicon и библиотеки MLX. Это преобразование весов k2-fsa/OmniVoice в формат MLX с точностью bfloat16; конфигурация, токенизатор и необходимые компоненты аудиотокенизатора взяты из официального чекпойнта. Исходная модель поддерживает синтез речи с нуля по тексту и клонирование голоса. Модель предназначена для локального синтеза речи и создания озвучки на устройствах Apple Silicon. Версия bfloat16 описана как качественный вариант для такого применения. Для клонирования голоса нужен полный аудиотокенизатор: облегчённые ресурсы могут декодировать аудио, но не обеспечивают надёжное кодирование голоса говорящего. Используются лицензия Apache-2.0 и условия исходного репозитория k2-fsa/OmniVoice.
OrangeRemix — слитая модель генерации изображений по текстовому описанию, опубликованная автором Yntec. Она предназначена для создания иллюстраций в аниме-стиле: автор отмечает выразительную композицию, привлекательный визуальный стиль и стремление сохранить согласованность изображения. Модель распространяется в формате Diffusers на базе PyTorch и Safetensors. По карточке, OrangeRemix создана смешиванием нескольких моделей, включая BloodOrangeMix, ElyOrangeMix и EerieOrangeMix_night, с последующим применением VAE. В качестве компонентов также указаны AnythingV3.0 и модели NovelAI. Рецепт автор описывает приблизительно и отмечает, что не сохранил точные заметки, поэтому точное воспроизведение слияния может быть затруднено. Лицензия — CreativeML Open RAIL-M.
RetroRetro — объединённая модель генерации изображений по текстовым описаниям, опубликованная Yntec. Она предназначена для создания ретро-графики и пиксель-арта, а также иллюстраций в ретрофутуристическом стиле. В README приведены примеры сцен с островами, автомобилями, персонажами и обложками в стиле фэнтези. Модель использует Stable Diffusion Pipeline и доступна в формате Diffusers с весами Safetensors. README описывает объединение Retro Diffusion и DucHaiten Retro методом SuperMerger Weight Sum Train Difference Alpha 1; в метаданных также указана связь с LostMedia/RetroDiffusion и Yntec/DucHaitenRetro. Лицензия указана как Public Domain Mark 1.0. Размер модели и длина контекста в предоставленных данных не указаны.
Yntec/SCMix — модель Stable Diffusion для генерации изображений по текстовым описаниям. Репозиторий содержит веса в формате safetensors для использования с библиотекой Diffusers; в модель встроен VAE MoistMixV2. Пример промпта показывает генерацию аниме-изображения девушки в традиционном кимоно на фоне парка или святилища. Модель предназначена для создания стилизованных изображений по промптам, в частности в аниме-стиле. Она принимает текст и выдаёт изображение. Лицензия — CreativeML OpenRAIL-M.
Instruction-tuning-sd/scratch-cartoonizer — модель преобразования изображений на базе Stable Diffusion v1.5, разработанная с применением методики InstructPix2Pix. Её обучали следовать текстовым инструкциям, связанным с преобразованием изображения; в частности, она предназначена для мультяшной стилизации входного изображения по запросу пользователя. Модель использует конвейер StableDiffusionInstructPix2PixPipeline из библиотеки Diffusers и принимает изображение вместе с текстовой инструкцией, выдавая преобразованное изображение. В карточке указан датасет instruction-tuning-sd/cartoonization. Репозиторий распространяется в форматах Diffusers и PyTorch по лицензии MIT. Модель ориентирована на стилизацию и другие преобразования изображений по инструкциям; качество за пределами описанного сценария мультяшной стилизации не охарактеризовано.
greentree/SDXL-olive-optimized — оптимизированная с помощью Microsoft Olive версия базовой модели Stable Diffusion XL 1.0 Base. Она предназначена для генерации изображений по текстовым описаниям и ориентирована на ускоренную работу через ONNX Runtime; автор сообщает о повышении скорости на видеокарте AMD RX 7900 XT в Windows 11 при создании изображений размером 1024×1024. Модель использует семейство Stable Diffusion XL и распространяется в форматах Diffusers и ONNX. Для запуска требуется ONNX Runtime, поэтому она не подключается как обычная пользовательская модель Stable Diffusion. По словам автора, результаты могут содержать шум и нуждаться в дополнительной обработке другой моделью. Лицензия — OpenRAIL++; исходная модель создана Stability AI.
TheWonderMix V2 — модель для генерации изображений по текстовому описанию, опубликованная Yntec. Она основана на Stable Diffusion и распространяется в форматах Diffusers и Safetensors. Веса содержат встроенный VAE kl-f8-anime2, предназначенный для более насыщенных цветов и детализированных изображений. Модель ориентирована на стилизованные иллюстрации, особенно изображения персонажей в аниме- и игровом духе, а также может создавать изображения с ретро-фотографической эстетикой. В карточке приведены примеры промптов с портретами, детскими книжными иллюстрациями и сценами по мотивам видеоигр. Лицензия — CreativeML OpenRAIL-M; её условия следует учитывать при использовании и распространении результатов.
MCG-NJU/videomae-base — базовая модель VideoMAE, представленная авторами статьи VideoMAE и выпущенная в репозитории MCG-NJU. Это видеоверсия Masked Autoencoder на основе Transformer, близкая по архитектуре к Vision Transformer: видеокадры разбиваются на патчи размером 16×16, а при предобучении модель восстанавливает пиксели замаскированных патчей. Модель содержит 113,2 млн параметров и предобучена без учителя на Kinetics-400 в течение 1600 эпох. Чекпойнт предназначен прежде всего для дообучения на задачах анализа видео. Его представления можно использовать для классификации видео, например обучив классификатор поверх представления токена [CLS]. Также модель умеет восстанавливать пиксели замаскированных частей видео. Она принимает видео и выдаёт предсказания пикселей или представления, полезные для последующих задач; язык как входная характеристика не заявлен. Для практического применения на целевой задаче обычно требуется дообучение на размеченных данных. Карточка не приводит результаты оценки и подробности предобработки. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
waiIllustriousSDXL_v170 — модель генерации изображений по текстовому описанию, представленная LyliaEngine и основанная на OnomaAIResearch/Illustrious-xl-early-release-v0. В карточке она помечена как LoRA для экосистемы Diffusers, однако описание также называет её самостоятельным checkpoint семейства WAI-NSFW-illustrious-SDXL. Модель предназначена для создания иллюстраций, включая персонажей, костюмы, окружение и различные художественные стили; заявлена совместимость с ComfyUI, WebUI API и приложением Character Select SAA, поддерживающим выбор персонажей и автодополнение тегов.Основная область применения — текстово-управляемая генерация изображений в аниме-ориентированной стилистике. В рекомендациях указаны разрешения исходного изображения выше 1024×1024, примерный диапазон 15–30 шагов, CFG scale 5–7 и sampler Euler a. VAE уже интегрирован. Для повышения разрешения рекомендуется Hires upscale 1.5 с R-ESRGAN 4x+ Anime6B и denoising strength 0.35–0.5. Разработчики отмечают улучшения согласованности цветовых тонов, соответствия фона персонажам и коррекции конечностей при высоком разрешении.Поддерживаются обычные, чувствительные и NSFW-сценарии; для фильтрации нежелательного контента предлагается явно добавлять тег nsfw в отрицательный запрос. Языки текстовых запросов, точный размер параметров, архитектурные детали и максимальная длина контекста в карточке не указаны. Модель распространяется по лицензии CreativeML Open RAIL-M версии 2.0, обозначенной как cdla-permissive-2.0.
xFutureTechx/2024_Backups — производная модель на базе Stable Diffusion v1.5, опубликованная в формате safetensors для генерации изображений по текстовым запросам. В метаданных указаны библиотека Diffusers, английский язык и лицензия CreativeML OpenRAIL-M. Карточка README не описывает стиль генерации, настройки, качество или дополнительные сценарии модели. Она упоминает среды Runpod и VastAI, но не приводит инструкций по запуску или подробностей об обучении. Модель предназначена для преобразования текстовых запросов в изображения; лицензия задаёт условия использования.
Anima Noct: Anime Mix — смешанная модель генерации изображений на основе Anima-2.9B. Она предназначена для создания аниме-изображений и иллюстраций по текстовым промптам и работает в ComfyUI со стандартными текстовым энкодером Anima и VAE. Автор отмечает более чёткую детализацию и аккуратную анатомию по сравнению с базовой моделью; доступны варианты int8, fp8 и bf16, а файл int8 занимает около 3,1 ГБ и рассчитан на видеокарты с 8 ГБ памяти. Модель подходит для портретов, сцен и иллюстраций с настраиваемым уровнем откровенности: README сообщает, что она поддерживает как безопасные, так и явные промпты. Для генерации указаны настройки около 30 шагов и разрешение порядка одного мегапикселя. Репозиторий содержит веса safetensors. Лицензия обозначена как other, поэтому условия использования следует уточнить у автора.
Another Fine Mess — слитая модель генерации изображений на основе Stable Diffusion 2.1, опубликованная Yntec. Она создаёт изображения по текстовым запросам и рассчитана на универсальные художественные сценарии: автор отмечает преимущество над Freedom.Redmond при запросах с упоминанием аниме и над MangledMerge3 без таких запросов. Модель ориентирована на необычный визуальный стиль, включая аниме, иллюстрации и реалистичные изображения. Модель объединяет Freedom и MangledMerge_v3 с помощью SuperMerger Weight Sum и настройки MBW; репозиторий содержит Diffusers и safetensors версии. В Diffusers-варианте встроен FreedomVAE. Карточка предупреждает, что результаты не следует считать лучше моделей на Stable Diffusion 1.5, и отмечает ограниченную популярность Stable Diffusion 2.1. Лицензия — CreativeML OpenRAIL-M.
Карточка модели 12-tz3/anything-v5 на Hugging Face совпадает с карточкой stablediffusionapi/anything-v5, поэтому описание составлено по ней. Anything V5 — модель генерации изображений по текстовому описанию, опубликованная stablediffusionapi. Карточка показывает её использование через ModelsLab API и указывает идентификатор модели anything-v5. Пример запроса задаёт текстовый prompt и negative prompt, разрешение изображения, число шагов генерации и guidance scale. Модель предназначена для создания изображений по текстовым запросам; пример ориентирован на аниме и цифровую иллюстрацию, включая портреты и концепт-арт. Репозиторий содержит веса в форматах Diffusers, PyTorch и safetensors. Лицензия — CreativeML OpenRAIL-M.
Карточка модели ufhhioig/anything-v5 на Hugging Face совпадает с карточкой stablediffusionapi/anything-v5, поэтому описание составлено по ней. Anything V5 — модель генерации изображений по текстовому описанию, опубликованная stablediffusionapi. Карточка показывает её использование через ModelsLab API и указывает идентификатор модели anything-v5. Пример запроса задаёт текстовый prompt и negative prompt, разрешение изображения, число шагов генерации и guidance scale. Модель предназначена для создания изображений по текстовым запросам; пример ориентирован на аниме и цифровую иллюстрацию, включая портреты и концепт-арт. Репозиторий содержит веса в форматах Diffusers, PyTorch и safetensors. Лицензия — CreativeML OpenRAIL-M.
Based 64 — модель генерации изображений по текстовому описанию в формате Diffusers. В README указано, что это версия без EMA модели Based 64 Mix; в неё встроен VAE от BagOfChips. Примеры показывают стилизованные изображения в аниме, чиби и живописной манере, а также натюрморты и реалистичные сцены. Модель предназначена для создания иллюстраций по текстовым запросам. Репозиторий содержит веса в формате safetensors, а для Diffusers указана лицензия CreativeML Open RAIL-M. В карточке отмечена поддержка английского языка. В README не приведены сведения о размере модели, длине контекста или известных ограничениях качества.
Belle of the Ball — модель для генерации изображений по текстовому описанию, опубликованная Yntec. Она создана на основе дообученной Isabelia и объединена с Coquett: автор указывает, что Isabelia улучшает композицию, а Coquett — проработку глаз. Модель предназначена для создания преимущественно аниме- и стилизованных 2.5D-изображений персонажей и сцен, в том числе с детализированным фоном. Используется через Diffusers как Stable Diffusion Pipeline; файлы представлены в форматах Diffusers и safetensors. Размер и длина контекста в предоставленных данных не указаны. Лицензия — CreativeML OpenRAIL-M; ознакомьтесь с её условиями перед использованием и распространением результатов.
BracingEvoMix — модель преобразования текста в изображения на базе Stable Diffusion 1.x, собранная автором sazyou_roukaku путём слияния нескольких чекпойнтов. Она предназначена для генерации иллюстраций и изображений с восточноазиатской внешностью по естественно-языковым и теговым промптам; автор отмечает хорошую работу с подробными текстовыми описаниями сцен. Для рекомендуемой настройки используется CLIP skip 2. Модель распространяется в формате Safetensors и использует библиотеку Diffusers. Автор указывает, что в версии v2 объединены OpenBra/OpenBraβ, DreamShaper, EpicRealism, DiamondCoalMix и другие модели, чтобы сочетать разнообразие сцен, фонов и поз с характерными чертами лиц. Отдельные варианты серии улучшали анатомию пальцев. Лицензия — CreativeML OpenRAIL-M; README описывает ограничения лицензии, включая запрет некоторых применений, и предупреждает, что риск происхождения данных не исключён. Автор также снимает с себя ответственность за результаты использования.
BrainDance 1.8 — модель Yntec для генерации изображений по текстовому описанию. Карточка показывает примеры промптов с аниме-персонажами, иллюстрациями и стилизованными изображениями, включая сочетания аниме и реалистичной подачи. Модель поставляется в формате Diffusers с весами Safetensors; в версию 1.8 встроен VAE MoistMixV2, предназначенный для улучшения детализации и насыщенности цветов. Метаданные указывают на семейство Stable Diffusion и поддержку английского языка. Модель подходит для создания иллюстраций и стилизованных изображений по промптам. Лицензия — CreativeML OpenRAIL-M. Количество параметров и размер контекста не приводятся; результат зависит от формулировки промпта и возможностей используемого конвейера генерации.
CoffeeDonut_v1 — модель генерации изображений по текстовому описанию в стиле аниме, опубликованная автором Kodokuna. Карточка характеризует её как модель для создания аниме-изображений и содержит примеры изображений. Модель распространяется в форматах Diffusers, PyTorch и Safetensors; метаданные указывают архитектуру Stable Diffusion и задачу text-to-image. Лицензия обозначена как other, поэтому условия использования следует сверить с репозиторием. Карточка не сообщает размер модели, длину контекста или поддерживаемые языки.