I.10Видео, анимация и 3D
В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
3 279 моделейVBVR-Pro-SenseNova-U1 — это контрольная точка Neo-Unify, экспортированная из EMA-чекпойнта на шаге обучения 30 000 командой Video-Reason. Модель принимает исходное изображение и текстовую инструкцию и генерирует один или несколько последовательных ключевых кадров: каждый созданный кадр включается в контекст перед генерацией следующего. Она предназначена для визуального рассуждения через генерацию изображений и была представлена в исследовании VBVR-Pro о масштабируемом наборе проверяемых задач для такого рассуждения. Модель поддерживает генерацию изображений по тексту и исходному изображению; репозиторий использует Transformers и формат safetensors. Для загрузки нужен пользовательский код Transformers с параметром trust_remote_code=True. Лицензия — Apache-2.0. README описывает обучение и оценку на задачах визуального рассуждения, но не приводит размер модели, длину контекста или перечень поддерживаемых естественных языков. Для инференса требуется Linux, CUDA-совместимый GPU, PyTorch 2.5 или новее и Transformers 4.51 или новее; Transformers 5 пока не поддерживается. Предусмотрен инференс в bfloat16 на CUDA, CPU-инференс включённым скриптом не поддерживается. Повышение разрешения и числа кадров заметно увеличивает время работы и расход памяти.
VideoLLaMA3-7B — мультимодальная модель DAMO-NLP-SG для понимания видео и изображений. Она объединяет визуальную информацию с текстом и отвечает на вопросы о содержимом статичных и динамичных сцен, включая задачи рассуждения по видеопоследовательностям. Модель построена на архитектуре VideoLLaMA3 с языковой основой Qwen2.5-7B-Instruct; в метаданных указано слияние с DAMO-NLP-SG/VideoLLaMA3-7B-Image. Размер — 7,1 млрд параметров, контекст — 32 768 токенов. Поддерживаются диалоговый режим и генерация текста по визуальному содержимому; карточка заявляет возможности понимания изображений и видео. Модель опубликована в формате safetensors для Transformers и распространяется по лицензии Apache-2.0.
Модель dvs/videomae-base-finetuned-kinetics-finetuned-movienet — дообученная видеомодель для классификации видео, созданная на основе MCG-NJU/videomae-base-finetuned-kinetics. Она использует архитектуру VideoMAEForVideoClassification и содержит 113,2 млн параметров. По карточке, дообучение проводилось на наборе данных, который не назван. Модель принимает видео и относит его к категориям. На оценочной выборке указана точность 0,7865 после 4,1 эпохи обучения. В карточке не раскрыты набор классов, языки и детали подготовки данных. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
3D Render Style SDXL — LoRA-модель, разработанная автором goofyai для Stable Diffusion XL. Она предназначена для генерации изображений в стилистике 3D-рендера по текстовому описанию, включая объекты, персонажей и сцены. Для активации рекомендуется использовать в запросе фразы «3d style», «3d» или «3d render». Модель основана на stabilityai/stable-diffusion-xl-base-1.0 и относится к семейству text-to-image. Рекомендуемый вес LoRA составляет 0,7–1; для повышения качества автор советует использовать highres fix. README не содержит информации о размере адаптера, точной архитектуре LoRA, поддерживаемых языках, максимальном контексте или дополнительных модальностях. Лицензия — Apache-2.0.
EPFL-VILAB/4M-7_B_CC12M — предварительно обученная модель семейства 4M, выпущенная авторами фреймворка 4M, представленными исследователями EPFL-VILAB. Она использует массовое мультимодальное моделирование с маскированием и предназначена для задач преобразования между разными модальностями в формате any-to-any. Семейство 4M ориентировано на широкий спектр задач компьютерного зрения и работу с множеством модальностей; модель распространяется в формате safetensors и загружается через библиотеку ml-4m. Лицензия указана как other, поэтому конкретные условия использования следует сверить с файлами репозитория.
digiplay/bluePencilRealistic_v01 — модель Stable Diffusion в формате Diffusers для генерации изображений по текстовому запросу. Автор описывает её как подходящую для создания реалистичных изображений, изображений с эффектом 2.5D и живописных работ. Модель принимает текстовые запросы и выдаёт изображения. В карточке не приведены сведения о размере, контексте и конкретной базовой модели. Репозиторий содержит веса в форматах PyTorch и safetensors; лицензия указана как other, поэтому условия использования следует проверять в файлах репозитория.
CyberIllustrious Anime — модель генерации изображений по текстовому описанию, опубликованная пользователем или организацией cyberdelia на Hugging Face. Модель предназначена для создания изображений в аниме- и киберреалистичной стилистике, включая визуалы с фотореалистичными характеристиками. По метаданным модель относится к экосистеме Stable Diffusion и SDXL и может использоваться через Diffusers. Основной сценарий — преобразование текстовых промптов в изображения; поддержка отдельных естественных языков и размер модели в предоставленных данных не обозначены. Модель подходит для создания персонажей, иллюстраций и концепт-арта с аниме- или киберпанк-эстетикой. В предоставленной карточке нет сведений о результатах тестирования, рекомендуемых параметрах генерации, специальных ограничениях по содержанию или известных недостатках. Лицензия модели — CreativeML OpenRAIL-M.
Dasheng-AudioGen-Multilingual — многоязычная версия модели генерации аудио Dasheng-AudioGen, разработанная Mispeech. Она принимает текстовые описания и синтезирует речь, музыку, звуковые эффекты и звуки окружающей среды. В качестве текстового энкодера используется mT5-large; архитектура модели в метаданных обозначена как DashengAudioGenModel. Репозиторий содержит веса в формате safetensors и предназначен для работы с библиотекой Transformers. Модель рассчитана на английский, испанский, португальский, русский, французский, японский, корейский и немецкий языки. По данным карточки, качество синтеза на языках кроме английского заметно хуже; для английских сценариев автор рекомендует базовую Dasheng-AudioGen. Модель распространяется по лицензии Apache-2.0.
FAL (Framework for Automated Labeling of Videos) — модель классификации видео от SVECTOR. Она дообучена на наборе данных FAL-500 и относит видео к одному из 500 классов. Модель использует архитектуру TimeSformer и принимает видеокадры: для описанной конфигурации это 8 кадров RGB размером 224×224 с предварительной обработкой и нормализацией. Число параметров — 113,2 млн. Модель предназначена для автоматической разметки и классификации видеоконтента. Она может быть полезна для категоризации видео и экспериментов по пониманию видеосцен. Лучше всего применять её к данным, похожим на FAL-500: на видео из других предметных областей качество может снижаться. Для использования требуется подготовить кадры в соответствии с ожидаемым размером и нормализацией. Лицензия — MIT.
microsoft/git-large-vatex — крупная версия модели GIT (GenerativeImage2Text), разработанная Microsoft и дообученная на датасете VATEX. Это плотный Transformer-декодер, который использует токены изображения, полученные из CLIP, и предыдущие текстовые токены для генерации следующего текстового токена. Модель содержит 80,1 млн параметров и имеет нативный контекст 1024 токена. Чекпойнт предназначен прежде всего для создания описаний видео. Архитектура GIT также подходит для подписей к изображениям и видео, визуальных вопросов и ответов, а также генерации текстовой метки класса по изображению. Модель принимает изображения и текстовые запросы, выдаёт текст; в карточке указана поддержка английского языка. Для её запуска предусмотрена библиотека Transformers с PyTorch. Модель дообучена на VATEX после обучения GIT-large на 20 млн пар изображение–текст. Лицензия — MIT. Качество и поведение на иных задачах и языках могут отличаться от целевого сценария; результаты оценки в карточке не приведены.
digiplay/Juggernaut_final — модель генерации изображений по текстовому описанию в формате Diffusers. Репозиторий содержит веса PyTorch в формате safetensors и предназначен для работы с StableDiffusionPipeline. Карточка показывает пример изображения, созданного через API Hugging Face, и ссылается на демонстрационные изображения исходного автора. Лицензия указана как other, поэтому условия использования следует проверять в файлах репозитория и у правообладателя. В предоставленных данных нет сведений о размере модели, контексте или поддерживаемых языках.
Open Diffusion V1 (OD-v1) — модель генерации изображений по текстовому описанию, разработанная OpenSkyML. Она предназначена для создания изображений по запросам на естественном языке и доступна для использования через Diffusers, Gradio-демо и Docker-демо. В метаданных указаны поддержка английского, французского и русского языков, а также форматы Diffusers, PyTorch и SafeTensors. Модель распространяется по лицензии CreativeML-OpenRAIL-M. Карточка не сообщает размер модели, длину контекста, архитектурные детали или известные ограничения качества; результат генерации зависит от текстового запроса.
pornmasterPro_realismILV4 — модель преобразования текста в изображение на базе Stable Diffusion XL, предназначенная для генерации реалистичных и фотореалистичных изображений по текстовым описаниям. Модель совместима с библиотекой Diffusers и запускается через StableDiffusionXLPipeline; веса распространяются в формате SafeTensors. Модель подходит для создания концептов, иллюстраций и визуальных материалов, где требуется реалистичная стилистика. Разработчик в предоставленных материалах не указан. Поддерживаемые естественные языки, размер модели и длина контекста в источниках не указаны. Модель распространяется по лицензии CreativeML Open RAIL-M. Результаты генерации могут зависеть от формулировки запроса и содержать визуальные артефакты или неточности, характерные для text-to-image моделей.
Hippotes/Qwen-Image-2512-quants — это NVFP4-квантизированная версия модели Qwen-Image-2512 для генерации изображений по текстовому описанию. Она создана на основе BF16-версий Qwen-Image-2512 и Qwen2.5-VL-7B-Instruct из репозитория Comfy-Org/Qwen с использованием скрипта Silveroxides/convert_to_quant. Модель предназначена для использования в ComfyUI как замена исходной модели без существенных изменений рабочего процесса. Ключевая особенность модели — формат NVFP4, уменьшающий требования к памяти и способный ускорить инференс на совместимом оборудовании. В обновлённой версии часть слоёв сохранена в BF16, а калибровка выполнена дольше и с изменёнными параметрами; по заявлению автора, это улучшило передачу контуров и волос по сравнению с первой версией. Приведённые автором измерения на GPU RTX 5090 показывают преимущество NVFP4 над FP8 при пакетной генерации, особенно с Lightning LoRA. Ограничения включают некоторое снижение качества по сравнению с полноразмерными моделями, аналогичное другим NVFP4- и Nunchaku-моделям. Автор также отмечает возможное узкое место, связанное с пропускной способностью памяти или операциями деквантизации: в отдельных случаях GPU работает недостаточно эффективно, тогда как небольшие пакеты могут устранять проблему. В README не указаны языки, размер контекста и полный перечень поддерживаемых модальностей. Модель распространяется по лицензии Apache-2.0.
Карточка модели Jasper1007/Qwen-Image-ControlNet-Union на Hugging Face совпадает с карточкой InstantX/Qwen-Image-ControlNet-Union, поэтому описание составлено по ней. Qwen-Image-ControlNet-Union — объединённый ControlNet от InstantX для управления генерацией и редактированием изображений на базе Qwen-Image. Модель принимает изображение с картой управления и текстовое описание, поддерживая четыре типа условий: контуры Canny, мягкие границы, глубину и позу. Она интегрируется с Diffusers и ComfyUI. ControlNet обучен с нуля в течение 50 тысяч шагов на 10 миллионах качественных изображений общего содержания и изображений людей. В архитектуре используются пять двойных блоков из предварительно обученного трансформера; обучение проводилось при разрешении 1328×1328 в BF16. Для управления силой условия предусмотрен параметр controlnet_conditioning_scale. Модель подходит для создания изображений по тексту с сохранением заданных контуров, глубины или позы, а также для редактирования изображений с таким контролем. В README отмечено, что без явного указания текста в промпте некоторые детали, например мелкий текст, могут сохраняться хуже. Лицензия — Apache-2.0.
QwenStoryteller — это дообученная с помощью LoRA модель Qwen2.5-VL-7B от Daniel3303 для создания связных историй по последовательностям изображений. Она анализирует персонажей, предметы, места и развитие событий, стараясь сохранять идентичность сущностей между кадрами и связывать элементы повествования с визуальными ссылками. Модель содержит 7,1 млрд параметров, построена на архитектуре Qwen2.5-VL и рассчитана на контекст до 128 000 токенов; для работы использует текст и изображения, а выдаёт текст. Модель предназначена для визуального повествования с привязкой к содержимому кадров. Также она выполняет обнаружение объектов и ориентиров, повторную идентификацию объектов между изображениями и анализ сцен. По данным README, дообученная версия показала на 12,3% меньше галлюцинаций, чем базовая, однако может путать похожих людей и предметы; обучающие данные из фильмов могут хуже отражать любительские и повседневные сцены. Лицензия — Apache-2.0.
Realistic Vision V3.0 VAE — модель генерации изображений по текстовому описанию, опубликованная пользователем SG161222. Карточка указывает, что необходимый VAE уже встроен в модель; репозиторий содержит файлы в формате Diffusers и safetensors. Модель предназначена для создания реалистичных изображений по текстовым запросам. В README приведены рекомендуемые алгоритмы сэмплирования Euler A и DPM++ SDE Karras, диапазон CFG 3,5–7 и настройки увеличения разрешения с апскейлером 4x-UltraSharp. Для улучшения результата предлагается задавать отрицательный промпт, исключающий анатомические дефекты, артефакты и нежелательные стили. Модель распространяется по лицензии CreativeML OpenRAIL-M. Карточка рекомендует параметры генерации, но не содержит заявлений о точности, поддерживаемых языках или ограничениях качества; результат зависит от промпта и настроек генерации.
frankjoshua/toonyou_beta6 — модель генерации изображений по текстовому описанию на базе Stable Diffusion, опубликованная пользователем frankjoshua на Hugging Face. Репозиторий содержит компоненты StableDiffusionPipeline и веса в формате Diffusers/Safetensors; карточка Hugging Face не содержит подробного описания обучения или лицензии. Модель предназначена для создания изображений по текстовым запросам. Связанные с названием модели материалы указывают на мультяшную стилистику, однако доступные сведения не дают надёжного описания её точной архитектурной версии, размера, контекста, языков или ограничений качества. Использование лицензией из доступных данных подтвердить нельзя.
UPAL — модель локальных признаков изображений, разработанная Франсуа Костой, Рафаэлем Крефтом и соавторами. Она совместно обнаруживает ключевые точки и отрезки линий за один проход: предсказывает субпиксельные координаты точек с оценками уверенности, 128-мерные нормализованные дескрипторы, карту вероятности ключевых точек и узлов, а также плотное поле расстояний до линий. Отрезки извлекаются модифицированным LSD-детектором, направляемым найденными точками и картой расстояний. Архитектура включает четырёхуровневый энкодер в стиле ALIKED с деформируемыми свёртками на глубоких уровнях, разреженную голову дескрипторов и декодер поля расстояний. Модель предназначена для сопоставления изображений и локальных признаков, например в задачах геометрического сопоставления сцен. Веса содержат 0,79 млн параметров; библиотека реализации — upal. Чекпойнт дистиллирован из моделей SuperPoint, ALIKED, DaD и DeepLSD. Лицензия — Apache-2.0.
BAAI/URSA-0.6B-FSQ320 — компактная модель BAAI семейства BAAI-Vision-URSA для генерации и изменения видео по текстовым запросам. Это текстово-видеомодель на 0,6 млрд параметров; она использует архитектуру Uniform Discrete Diffusion with Metric Path, библиотеку Diffusers и точность FP16. Заявленное разрешение видео — 512×320, токенизатор — Cosmos-Tokenize1-DV4x8x8-360p. Модель подходит для исследовательских экспериментов с генерацией видео, а также для творческих и образовательных инструментов и художественных задач. Лицензия Apache-2.0. Авторы предупреждают, что модель не предназначена для достоверного воспроизведения людей и событий; она может давать нереалистичные изображения, плохо отображать сложный текст и некорректно генерировать детали, например пальцы. Обучающие данные включали контент для взрослых, насилие и сексуальный контент; возможны предвзятость и вредные результаты.
Z-Image — базовая модель семейства ⚡️-Image от проекта Tongyi-MAI для генерации изображений по текстовому описанию. Это недистиллированная модель на архитектуре диффузионного трансформера с однопоточной обработкой (Single-Stream Diffusion Transformer); она рассчитана на пользователей, которым нужны гибкость генерации, точное следование промпту и возможность дообучения или разработки дополнительных условий. Модель подходит для создания изображений в разных стилях: от фотореализма и кинематографической графики до аниме и стилизованных иллюстраций. Поддерживает Classifier-Free Guidance и негативные промпты, а разные seed дают вариативность композиции, внешности персонажей и освещения. В README рекомендованы разрешения от 512×512 до 2048×2048 пикселей, guidance scale 3,0–5,0 и 28–50 шагов генерации. Для работы указана библиотека Diffusers; веса представлены в формате safetensors. Лицензия — Apache-2.0.
4M-21_L — модель семейства 4M, разработанная исследователями EPFL-VILAB в рамках работ «4M: Massively Multimodal Masked Modeling» и «4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities». Это предобученная мультимодальная модель для задач компьютерного зрения и генерации в формате «любая модальность в любую»: семейство 4M использует токенизацию и маскирование для работы с разными модальностями и задачами. Модель распространяется в формате safetensors и загружается через библиотеку ml-4m. Заявленные сценарии включают широкий спектр задач зрения, перенос на ранее не встречавшиеся задачи и модальности, а также управляемую мультимодальную генерацию. README не раскрывает конкретный перечень поддерживаемых моделью модальностей, языков, размер или длину контекста, поэтому эти характеристики не уточняются. Лицензия указана как other; конкретные условия следует сверить с лицензией репозитория.
Yntec/CartoonStyleClassic — модель генерации изображений по текстовому описанию на основе Stable Diffusion, опубликованная в формате Diffusers. В карточке приведён пример промпта для создания мультяшной сцены с персонажами и фантастическим окружением; модель включает встроенный VAE kl-f8-anime2. Модель предназначена для создания иллюстраций в мультяшной стилистике по текстовым промптам. Репозиторий содержит веса в формате Safetensors и использует библиотеку Diffusers. Указана лицензия CreativeML OpenRAIL-M. Карточка не сообщает размер модели, поддерживаемые языки, длину контекста или результаты оценки качества. Пример промпта показывает возможный сценарий использования, но не гарантирует точность следования сложным описаниям.
Dasheng-AudioGen — унифицированная модель генерации аудио по тексту. Она создана разработчиком mispeech и предназначена для синтеза разборчивой речи, музыки, звуковых эффектов и окружающих акустических сцен по текстовым описаниям. Модель относится к семейству Dasheng-AudioGen, использует плотную архитектуру и доступна в формате safetensors; для работы указана библиотека Transformers. Модель поддерживает английский язык и принимает текст, выдавая аудио. Репозиторий распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели, длину контекста и подробности о качестве генерации.
Opiate_v3 — модель генерации изображений по текстовому описанию в формате Stable Diffusion Diffusers. Репозиторий опубликовал пользователь digiplay; карточка содержит примеры изображений исходного автора, но не сообщает дополнительных сведений о разработчике или обучении модели. Модель предназначена для создания изображений по текстовым запросам. Репозиторий использует форматы Diffusers, PyTorch и Safetensors. Лицензия указана как other, без конкретизации условий использования.
Paragon — базовая модель генерации изображений по текстовому описанию, опубликованная пользователем Yntec. Репозиторий содержит веса в формате safetensors для запуска через Diffusers и помечен как Stable Diffusion; в карточке приведены примеры фотореалистичных, кинематографичных и фантастических сцен. Модель предназначена для создания изображений по англоязычным промптам, в том числе портретов, персонажей и атмосферных композиций. Для репозитория указана лицензия CreativeML OpenRAIL-M, условия которой регулируют использование и распространение модели. В карточке нет сведений о размере модели, базовом чекпойнте и длине контекста.
ParallelTubeDecoding-Qwen3-VL-4B — модель MBZUAI на основе Qwen3-VL-4B-Instruct, адаптированная для пространственно-временной локализации объектов и событий в видео. Она сначала определяет временной интервал описанного события, а затем параллельно предсказывает пространственные координаты объекта для этого интервала. Пространственное представление использует 1 001 дискретный токен координат, временное — 100 токенов; размер пространственного блока PTD равен 6. Модель предназначена для поиска в видео объекта или события, заданного текстовым запросом, и построения его пространственной траектории. Она обучалась на VidSTG и HC-STVG, а также оценивается на Charades-STA и ActivityNet Captions. Чекпойнт содержит объединённые веса после дообучения, но для генерации PTD требуется выпущенный авторами код: стандартная загрузка через Transformers предоставляет архитектуру Qwen3-VL, но не реализацию PTD и Decoupled Block Attention. Модель распространяется по лицензии Apache-2.0. Она предсказывает один непрерывный временной интервал и одну пространственную траекторию на запрос; несколько раздельных эпизодов или одновременно подходящих объектов не поддерживаются. Тонкие изменения состояния, а также маленькие, быстро движущиеся или частично закрытые объекты могут затруднять локализацию.
Это FP8 E4M3FN-конверсия трансформера Qwen-Image-2512, подготовленная 777Radik для хранения и загрузки через DiffSynth. Модель предназначена для генерации изображений по текстовому описанию; исходная модель особенно хорошо справляется с реалистичными изображениями людей, детализированными природными сценами и отрисовкой текста, в том числе кириллицы. В FP8 представлены только веса трансформера в формате safetensors: их объём уменьшен примерно на 50% по сравнению с исходным хранилищем BF16. Токенизатор, текстовый энкодер и VAE нужно загрузить отдельно из Qwen/Qwen-Image-2512. В описанном автором тесте на 100 русских запросах результаты совпали с исходной BF16-версией побайтно; проверка проводилась в конкретном конвейере DiffSynth с ControlNet. Лицензия — Apache-2.0. Автор предупреждает, что вне проверенных DiffSynth-пайплайна и среды Blackwell FP8 работа не гарантируется.
frankjoshua/realisticVisionV51_v51VAE — модель генерации изображений по текстовому описанию, опубликованная пользователем frankjoshua на Hugging Face. В репозитории она представлена как Diffusers StableDiffusionPipeline и предназначена для запуска через библиотеку Diffusers. Модель использует архитектуру Stable Diffusion с компонентами CLIPTextModel, UNet2DConditionModel, AutoencoderKL, PNDMScheduler и safety checker. В конфигурации VAE указан размер образца 512 пикселей, а текстовый энкодер имеет максимальную длину последовательности 77 токенов. Практический сценарий работы — создание изображений по промптам, включая реалистичные визуальные сцены. В репозитории отсутствует содержательная карточка модели с описанием обучения, точными характеристиками, поддерживаемыми языками и условиями лицензии. Поэтому сведения о лицензии, размере модели, языках и специализированных ограничениях не подтверждены.
samaritan 3d Cartoon 2 — модель преобразования текста в изображения, опубликованная Yntec. В карточке указано, что в модель встроен VAE MoistMix; метаданные относят её к семейству Stable Diffusion и библиотеке Diffusers. Примеры ориентированы на создание детализированных цветных изображений в стиле 3D-мультфильма по текстовым запросам. Модель предназначена для генерации художественных изображений, в том числе персонажей и иллюстраций с детализированным рендерингом. В карточке приведён пример промпта с LoRA и тегами стиля; это пример, а не подтверждение, что перечисленные LoRA входят в состав модели. Указана лицензия CreativeML OpenRAIL-M.