I.10Видео, анимация и 3D
В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
3 279 моделейcalcuis/sd3.5-large-controlnet — это квантизированная версия Stable Diffusion 3.5 Large с поддержкой ControlNet, основанная на модели stabilityai/stable-diffusion-3.5-controlnets. Модель предназначена для генерации изображений по текстовому описанию с дополнительным управлением композицией и структурой изображения через ControlNet. В README приведены примеры использования с управлением по контурам Canny, а также упомянуты режимы blur и depth. Модель распространяется в формате GGUF и рассчитана на работу с ComfyUI; основной файл UNet sd3.5_large-q4_0.gguf имеет размер около 4,77 ГБ. Для запуска также требуются ControlNet, компоненты CLIP и T5, а также VAE. Указан английский язык. Точный размер исходной архитектуры, максимальная длина контекста и другие характеристики не приведены. К сильным сторонам относятся текстовая генерация изображений и возможность управлять результатом по дополнительным визуальным признакам; ограничением является необходимость установки нескольких крупных компонентов и совместимого окружения ComfyUI, а для оригинальной версии safetensors требуется особенно мощное оборудование. Лицензия указана как Stability AI Community License; в карточке также приведена ссылка на файл лицензии. Модель разработана calcuis на основе материалов Stability AI и использует ComfyUI, узел ComfyUI-GGUF от city96 и пакет gguf-comfy.
thejagstudio/3d-animation-style-sdxl — стилевой LoRA-адаптер, разработанный автором thejagstudio для генерации изображений на основе Stable Diffusion XL Base 1.0 от Stability AI. Модель предназначена для задач text-to-image и добавляет к базовой модели визуальную стилистику 3D-анимации; по тегам также заявлены направления anime и paper. Адаптер распространяется в формате Safetensors и загружается поверх stabilityai/stable-diffusion-xl-base-1.0 через библиотеку Diffusers. Он может использоваться для создания иллюстраций и концепт-артов с выраженным стилизованным 3D-анимационным видом. Данные о размере адаптера, поддерживаемых языках, длине контекста, рекомендуемых весах и точных ограничениях по качеству в README не указаны. Для работы требуется совместимая базовая модель SDXL и программный стек Diffusers; итоговый результат зависит от исходной модели и текстового запроса. Лицензия обозначена как bespoke-lora-trained-license, с отдельными условиями по указанию авторства, коммерческому использованию, производным работам и возможности применения другой лицензии. Полные условия приведены по ссылке, указанной в карточке модели.
Anima In-Context Character — это адаптер LoRA для модели Anima, разработанный daraskme и предназначенный для генерации изображений персонажей по визуальным референсам. Он позволяет прикрепить от одного до трёх изображений персонажа и создавать его в новых позах, сценах и выражениях лица без отдельного обучения на конкретном персонаже, в том числе если базовая модель ранее его не видела. Модель ориентирована на anime-стилистику и используется в связке с ComfyUI через набор специализированных узлов. Адаптер основан на архитектуре Anima 2B: Cosmos-Predict2 DiT, текстовом энкодере Qwen3-0.6B и WanVAE. Это in-context reference LoRA для DiT с рангом 64. В отличие от IP-Adapter, работающего через CLIP-эмбеддинг, референс подаётся как отдельный VAE-латент внутри self-attention, что предназначено для сохранения деталей внешности, включая причёску, украшения, узоры одежды и цвет глаз. Обучение проводилось примерно на 994 тысячах anime-изображений и 62 тысячах пар изображений одного персонажа, выполненных разными художниками; из подписей удалялись сведения о персонаже, художнике и правообладателе. Сильной стороной модели является перенос идентичности персонажа между сценами и стилями без per-character training. Для лучших результатов рекомендуется использовать полнофигурный референс вместе с крупным планом лица и дополнительно описывать внешность в текстовом запросе. Ограничения включают зависимость от качества и содержания референсов, необходимость базовой модели Anima, ComfyUI и совместимых файлов модели, а также специализацию на anime-изображениях. В README указана лицензия circlestone-labs-non-commercial; условия использования следует уточнять по лицензии и её официальному описанию.
DeciDiffusion 2.0 — модель генерации изображений по тексту, разработанная Deci. Это латентная диффузионная модель на 732 млн параметров, построенная на основе архитектуры Stable Diffusion и использующая VAE, текстовый энкодер CLIP и оптимизированный с помощью AutoNAC U-Net-NAS. Модель рассчитана на англоязычные текстовые запросы и генерацию изображений; обучение проводилось на разрешении 512×512. Для запуска автор рекомендует diffusers версии 0.21.4. Оптимизированная архитектура U-Net и настройки обучения позволяют получать изображения с меньшим числом шагов диффузии; в README приводится рекомендация сократить их с 16 до 10. Модель распространяется по лицензии CreativeML Open RAIL++-M. Она не предназначена для достоверного изображения людей или событий: фотореализм ограничен, текст на изображениях часто нечитаем, а сложные композиции и лица могут получаться неточно. Английские запросы поддерживаются лучше, чем запросы на других языках; возможны смещения в сторону западных культурных норм.
DeDeDeP — модель генерации изображений по текстовому описанию, созданная автором репозитория nakayama на базе Stable Diffusion. Она настроена на создание более фотореалистичных изображений в аниме-стиле по сравнению с исходной DeDeDe. В README указано, что DeDeDe объединяет DreamLike Diffusion 1.0, Trinart Characters v2 Derrida и DreamLike Photoreal 1.0, а DeDeDeP дополнительно получена иерархическим слиянием частей DeDeDe с DreamLike Photoreal 1.0. Модель предназначена для создания иллюстраций в фотореалистичном аниме-стиле. Для улучшения результата автор рекомендует положительный промпт «best quality, masterpiece» и отрицательный промпт с исключением нежелательных стилей и артефактов, включая плохую анатомию, лишние пальцы, размытость, водяные знаки и текст. Репозиторий содержит веса в форматах Diffusers, PyTorch и Safetensors. Применяется модифицированная лицензия CreativeML OpenRAIL-M, унаследованная от DreamLike Diffusion 1.0 и DreamLike Photoreal 1.0. В частности, использование модели или её производных на сайтах и в приложениях, получающих доход или пожертвования, требует согласования с правообладателем; коммерческое использование результатов разрешено командам до 10 человек на условиях лицензии. Необходимо внимательно изучить её полный текст и ограничения.
Dreamshaper SDXL-Turbo — модель генерации изображений по текстовому описанию от Lykon, полученная дообучением Stable Diffusion XL Base 1.0. Она предназначена для быстрого создания художественных изображений и иллюстраций по текстовым запросам; в карточке отмечены стили art и anime, а также связь с Turbo и LCM. Модель распространяется в формате Diffusers и Safetensors и использует лицензию OpenRAIL++.
InternVideo2.5 Chat 8B — мультимодальная языковая модель для работы с видео, разработанная OpenGVLab на основе InternVL2.5. Она принимает видеоматериал и текстовые запросы, чтобы отвечать на вопросы о содержании роликов и описывать события с учётом деталей и их временной последовательности. Модель использует плотные аннотации визуальных задач, Direct Preference Optimization и адаптивное иерархическое сжатие пространственно-временных токенов HiCo для работы с длинным и насыщенным контекстом. Модель относится к семейству InternVL Chat и имеет плотную архитектуру; веса доступны в формате safetensors для Transformers. В README приведены результаты на видеобенчмарках и замеры скорости генерации на A800 при BF16 и INT4. Лицензия — Apache-2.0. Размер 8B указан в идентификаторе модели; сведения о длине контекста в доступных материалах не приведены.
Kangaroo — мультимодальная языковая модель KangarooGroup для понимания видео, построенная на плотной архитектуре семейства Llama. Модель содержит 7,5 млрд параметров, принимает видеопоследовательности длиной до 160 кадров и имеет контекстное окно 8192 токена. Репозиторий содержит веса PyTorch и safetensors; модель поддерживает диалоговый режим на английском и китайском языках, включая многоходовые беседы. Модель предназначена для создания подписей к видео, ответов на вопросы о видеосодержимом и диалога по видео. Авторы сообщают о результатах на бенчмарках понимания видео, однако эти заявления приведены в карточке без подробностей в доступном тексте. Модель выпущена под лицензией Apache-2.0.
LLaVA-NeXT-Video-32B-Qwen — открытая мультимодальная чат-модель от lmms-lab для понимания видео и изображений по текстовым инструкциям. Она принимает видео и текстовые запросы, а также поддерживает сценарии визуального вопросно-ответного взаимодействия. Модель построена на архитектуре LLaVA с языковой основой Qwen1.5-32B и содержит 31,7 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель дообучена на смешанных изображениях и видео, включая набор из 830 тысяч видеоданных. Она предназначена для анализа содержимого роликов, создания описаний и ответов на вопросы о событиях в видео; в README также приводятся результаты на видеобенчмарках. Лицензия — Apache-2.0. Авторы указывают исследовательское применение в области мультимодальных моделей и чат-ботов.
elix3r/LTX-2.3-22b-AV-LoRA-talking-head — специализированная LoRA-адаптация базовой модели Lightricks/LTX-2.3, разработанная сообществом для аудиовизуальной генерации видео. Адаптация обучена с использованием совместной аудиовидеосвязи и предназначена для создания говорящих портретов по референсному изображению. Модель генерирует видео с синхронизированным движением губ, сохраняет идентичность персонажа на новых изображениях и фонах и переносит характерные особенности голоса из обучающих данных. Внешний аудиофайл при инференсе не требуется: текст речи задаётся в промпте вместе с триггерным словом OHWXPERSON. Рекомендуемые параметры — разрешение 1280×736 и 24 кадра в секунду; для режима с изображением и аудио указаны 1280×704 и 25 кадров в секунду. Для работы требуются LTX-2.3, ComfyUI и узел Power Lora Loader. Это character-specific реализация, ориентированная на конкретного персонажа и демонстрационный пайплайн, а не универсальная модель. Сильные стороны — точная синхронизация губ, сохранение внешности и интеграция голосовых характеристик. Ограничения включают возможные артефакты в виде лёгкого аудиогудения, непоследовательное моргание и зависимость качества от seed; сложный фон также может ухудшать синхронизацию губ. Модель распространяется по лицензии OpenRAIL.
MOHAWK v2.0 Baked VAE — модель для генерации изображений по текстовому описанию, опубликованная автором под именем Civitai. Она основана на Stable Diffusion XL и распространяется в формате Diffusers с весами Safetensors. Модель предназначена для создания реалистичных изображений и концепт-арта с эскизной подачей, в том числе персонажей, архитектуры и широких планов; автор отмечает влияние CFG на результат. В карточке описаны улучшения реалистичности, текстур и детализации, а также сочетание 2.5D и 3D стилистики. Использование лицензируется условиями репозитория на Hugging Face; сведений о лицензии в предоставленных данных нет.
Molmo2-VideoPoint-4B — мультимодальная модель семейства Molmo2, разработанная Allen Institute for AI (Ai2). Она предназначена для анализа видео: указания объектов и подсчёта их появлений с привязкой к кадрам. Модель основана на Qwen3-4B-Instruct-2507 и использует SigLIP 2 как визуальную основу; в карточке указана архитектура Molmo2ForConditionalGeneration и формат safetensors. Чекпойнт дообучен специально на данных Molmo2-VideoPoint после предварительного обучения на pixmo-cap, pixmo-points и данных Tulu. Он принимает видео и текстовые запросы и формирует текстовые ответы с точками и координатами объектов. В метаданных также указана поддержка изображений и текста. Основной язык карточки — английский. Модель опубликована под лицензией Apache 2.0, однако обучающие данные третьих сторон могут ограничивать использование академическими и некоммерческими исследованиями; следует проверить условия исходных датасетов и рекомендации Ai2.
Neon_Isometric — модель генерации изображений по текстовому описанию, обученная Duskfallcrew методом DreamBooth на базе Stable Diffusion. Она предназначена для создания изображений в неоновой изометрической стилистике; для запуска подойдут совместимые инструменты экосистемы Diffusers и интерфейс A1111. В README указан триггер концепции `dskise`. Модель выпущена в формате Diffusers с весами safetensors и распространяется по лицензии CreativeML OpenRAIL-M.
nunchaku-ai/nunchaku-qwen-image — это квантованная версия модели Qwen-Image, разработанная командой Nunchaku. Модель предназначена для генерации изображений по текстовым описаниям и реализуется в экосистеме Diffusers. Она ориентирована на создание качественных изображений, включая сцены со сложным рендерингом текста, при сниженных требованиях к вычислительным ресурсам и минимальной потере качества по сравнению с исходной моделью. Доступны варианты INT4 для видеокарт до поколения Blackwell и NVFP4 для видеокарт Blackwell, а также конфигурации с рангом r32 и r128. r32 обеспечивает более быструю обработку, тогда как r128 ориентирован на лучшее качество, но работает медленнее. Помимо стандартных вариантов, представлены дистиллированные версии, рассчитанные на генерацию за 4 или 8 шагов и объединённые с соответствующими LoRA-модулями Qwen-Image-Lightning. Язык модели указан как английский; другие модальности и размер контекста в README не описаны. Сильными сторонами модели являются поддержка эффективного квантованного вывода, несколько вариантов точности и ранга, а также ускоренные 4- и 8-шаговые версии. Ограничения включают зависимость производительности и качества от выбранного формата, ранга и типа GPU; подробные требования к оборудованию, метрики качества и сценарии использования в README не приведены. Модель распространяется по лицензии Apache-2.0.
OdysseyXL V2.5 — модель генерации изображений по текстовому описанию из серии OdysseyXL. В README она описана как дообученная версия SDXL, предназначенная для создания реалистичных и детализированных изображений; метаданные указывают библиотеку Diffusers и связь дообучения с OdysseyXL V2. Модель подходит для генерации художественных изображений по запросам, включая сцены с реалистичными текстурами и освещением. Для запуска README приводит пример с Hugging Face DiffusionPipeline. Автор заявляет об оптимизации для A100 и улучшенном понимании запросов, однако не приводит результатов сравнительной оценки. Лицензия в метаданных — MIT.
OmniFysics-Captioner — мультимодальная модель компании Fysics-AI для создания подробных описаний видео с учётом физических взаимодействий. Она дообучена на базе Qwen3-Omni на наборе Daily-Physics 50K и за один проход обрабатывает необработанные аудио- и видеоданные, формируя физически обоснованные аудиовизуальные подписи без внешних инструментов на этапе применения. Модель предназначена для детального видеокапшининга с фиксацией контакта объектов, опоры, деформаций и изменений состояний. По README, на бенчмарке VDC Detailed она показала 57,9% точности и превзошла сравниваемые методы в статье; также авторы сообщают о результатах на DREAM-1K и Omni-Cloze. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с карточкой модели.
Openjourney — модель генерации изображений PromptHero, дообученная на изображениях Midjourney на основе Stable Diffusion. Она принимает текстовые запросы и создаёт изображения; для характерного стиля автор рекомендует добавлять в запрос фразу «mdjrny-v4 style». Модель доступна для запуска через Diffusers и использует формат Stable Diffusion. Модель предназначена для создания иллюстраций и других изображений по текстовому описанию с эстетикой, напоминающей Midjourney. Репозиторий распространяется по лицензии CreativeML OpenRAIL-M. В карточке также упомянуты версии LoRA и Openjourney v4, но приведённые сведения не уточняют их связь с этой версией.
Openjourney-v4 — модель генерации изображений по текстовому описанию, созданная PromptHero. Она дообучена на Stable Diffusion v1.5 на более чем 124 тысячах изображений Midjourney v4; обучение заняло 12 400 шагов, четыре эпохи и около 32 часов. Модель предназначена для создания изображений в характерной эстетике Midjourney v4 по текстовым запросам. По карточке, для работы с ней больше не требуется добавлять к запросу фразу «mdjrny-v4 style». Репозиторий содержит веса в форматах Diffusers, PyTorch и safetensors. Лицензия — CreativeML OpenRAIL-M.
Perceptron Mk1 (Mark One) — модель для работы с изображениями и видео по запросам на естественном языке. README позиционирует её как наиболее качественную vision-language модель Perceptron для визуального и embodied reasoning: она принимает изображения или видео вместе с текстовыми запросами и выдаёт подробное понимание визуального содержимого.
wwdsada/qwenimage21gguf — это GGUF-квантизированная версия Qwen-Image-2.1, модели семейства Qwen, предназначенной для генерации изображений по текстовому описанию и редактирования изображений. Репозиторий содержит только веса диффузионного компонента DiT; текстовый энкодер Qwen3-VL-8B и VAE необходимо получить отдельно. Модель ориентирована на запуск через stable-diffusion.cpp и ComfyUI-GGUF в условиях ограниченного объёма видеопамяти. Визуальный генеративный компонент содержит около 7,115 млрд параметров и построен на 32-слойной архитектуре Single-Stream DiT. Используются смешанная по детализации attention-механика, повторное использование prefix KV cache и схема Flow Matching с дискретным планировщиком Euler и dynamic shifting. Модель поддерживает текстовую генерацию, редактирование с использованием до 10 референсных изображений, локальное редактирование по маске, выделению или наброску, а также нативное создание и редактирование RGBA-изображений с прозрачностью. Указаны нативное разрешение 2048×2048 и несколько поддерживаемых соотношений сторон. Доступны варианты от BF16 до Q2_K. BF16 численно эквивалентен исходным весам, Q8_0 обеспечивает наиболее близкое к оригиналу качество, а Q4_K_M рассматривается как рекомендуемый компромисс между качеством и размером. Q3_K_S и особенно Q2_K дают заметную деградацию качества. Реальное потребление видеопамяти зависит от разрешения и batch size; для экономии памяти поддерживаются CPU offload и поэтапная загрузка. Для работы требуются совместимые версии ComfyUI и ComfyUI-GGUF, а также отдельные текстовый энкодер и VAE. Лицензия указана как qwen-research; применяются условия лицензии Qwen-Image-2.1.
QuantStack/Qwen-Image-Distill-GGUF — это квантованная версия модели Qwen-Image, разработанной командой Qwen и представленная в формате GGUF. Репозиторий содержит прямую конвертацию DiffSynth-Studio/Qwen-Image-Distill-Full и предназначен для генерации изображений по текстовому описанию. Модель используется в связке с текстовым энкодером Qwen2.5-VL-7B и VAE Qwen-Image VAE. Основной сценарий применения — запуск генерации изображений в ComfyUI через пользовательский узел ComfyUI-GGUF. Основной файл модели размещается в каталоге ComfyUI/models/unet, текстовый энкодер — в ComfyUI/models/text_encoders, а VAE — в ComfyUI/models/vae. В карточке указаны английский и китайский языки, однако точные сведения о размере квантованной модели, варианте квантования, архитектуре, максимальном контексте и поддерживаемых модальностях не приведены. Ключевое преимущество модели — формат GGUF и квантование, которые ориентированы на более удобное и потенциально менее ресурсоёмкое локальное использование. Ограничение состоит в том, что для полноценной работы требуются отдельные компоненты: текстовый энкодер и VAE, а также ComfyUI с совместимым узлом. Модель распространяется по лицензии Apache-2.0; при квантовании сохраняются исходные лицензионные условия и ограничения использования.
sci-fi-landscape — модель генерации изображений по текстовому описанию, созданная Joeythemonster методом DreamBooth на базе Stable Diffusion. Для её обучения использовался fast-DreamBooth notebook TheLastBen. Модель предназначена для создания научно-фантастических пейзажей по текстовым запросам; карточка предлагает запускать её через A1111 или Diffusers. Репозиторий содержит модель в форматах Diffusers и PyTorch. Лицензия — CreativeML OpenRAIL-M. Данных о размере модели, контекстном окне и поддерживаемых языках в карточке нет.
jbilcke-hf/sdxl-cinematic-1 — это адаптация LoRA в формате DreamBooth для модели stabilityai/stable-diffusion-xl-base-1.0, разработанная пользователем jbilcke-hf и обученная с использованием SD-XL trainer от @fffiloni на датасете jbilcke-hf/cinematic-1. Модель предназначена для генерации изображений по текстовым описаниям с использованием библиотеки Diffusers и базовой SDXL-модели. Адаптация ориентирована на создание кинематографичных визуальных сцен и активируется специальным ключевым словом cnmt в промпте. Это компактные дополнительные веса, а не самостоятельная генеративная модель; для работы требуется загрузить SDXL base и применить LoRA с подходящим коэффициентом масштабирования. В обучении адаптации LoRA для текстового энкодера не использовалась. Для обучения применялся VAE madebyollin/sdxl-vae-fp16-fix, который также рекомендуется использовать при инференсе. README не указывает точный размер весов, поддерживаемые языки, длину контекста или отдельные сведения о вычислительных требованиях. Для запуска рекомендуются Diffusers версии 0.19.0 или новее, а также transformers, safetensors, accelerate и invisible_watermark. Лицензия в предоставленных данных не указана; условия использования следует проверять отдельно для этой адаптации и базовой SDXL-модели.
SenseNova-U1.5-8B-GGUF-v2 — это локальная квантованная сборка мультимодальной модели SenseNova-U1.5-8B-MoT-Preview, разработанной SenseNova/OpenSenseNova и преобразованной пользователем hoidhxd в формат GGUF. Модель предназначена для генерации изображений по текстовому описанию в ComfyUI на потребительских GPU и использует архитектуру NEO-unify, в которой текст и пиксели обрабатываются одним графом без внешних текстовых энкодеров CLIP или T5 и без внешнего VAE. Поддерживаемые языки и точное максимальное окно контекста в README не указаны. Сборка содержит 8B-модель в формате Q4_0 GGUF и занимает около 10,13 GiB. Исходные веса представлены в BF16 и распределены по 16 сегментам; крупные веса Linear-копируются в Q4_0, а отдельные тензоры сохраняются в F16 или F32 для совместимости и качества. Модель полностью помещается в 16 ГБ VRAM, а на 12 ГБ может работать с выгрузкой части слоёв. Версия v2 не требует патча совместимости и исправляет проблемы загрузки, характерные для v1. Основные преимущества — единый мультимодальный граф, отсутствие необходимости в отдельных энкодерах и VAE, локальная работа и совместимость со стандартным узлом ComfyUI-SenseNova-U1. Ограничения — необходимость установки специального runtime и GGUF-зависимостей, использование ComfyUI с соответствующими custom nodes, а также значительные требования к видеопамяти и дисковому пространству. Лицензия в README не указана.
Модель ehristoforu/stable-diffusion-v1-5-tiny — компактная версия Stable Diffusion v1.5 для генерации изображений по текстовому описанию. В README она названа официальной моделью RunwayML, из которой удалены избыточные веса; автор утверждает, что это не влияет на результаты генерации. Репозиторий использует библиотеку Diffusers и формат Safetensors. Модель предназначена для создания изображений по текстовым запросам. Она основана на runwayml/stable-diffusion-v1-5 и распространяется по лицензии CreativeML OpenRAIL-M. Язык в метаданных — английский; README не уточняет, на каких языках модель понимает запросы. Данных о размере модели и длине контекста нет.
Sygil Diffusion — модель генерации изображений по текстовому описанию, разработанная ZeroCool94 в Sygil-Dev. Это дообучение Stable Diffusion 1.5 на наборе Imaginary Network Expanded Dataset. В карточке указана версия v0.4: она продолжает обучение предыдущих версий и достигла 2,37 млн шагов; модель использует архитектуру Stable Diffusion и библиотеку Diffusers, формат репозитория включает PyTorch и safetensors. Модель рассчитана на создание разнообразных изображений: портретов, архитектуры, фэнтези, концепт-арта, аниме и пейзажей. Теги с пространствами имён, например species:seal и studio:dc, помогают точнее задавать отдельные элементы сцены и уменьшать ошибки интерпретации подсказок. Модель частично понимает подсказки на китайском, японском и испанском языках, а наиболее полно работает с английскими. Для лучших результатов может потребоваться адаптировать привычные подсказки, используя теги и пространства имён. Разработчик отмечает, что модель находится на ранней стадии и предполагает дальнейшее обучение и обновления. Лицензия — OpenRAIL++; условия её использования следует сверять с текстом лицензии.
Talk2DINO-ViTB — модель для сегментации изображений по произвольным текстовым понятиям, разработанная авторами исследования Talking to DINO, представленного на ICCV 2025. Она объединяет пространственные признаки патчей DINOv2 и языковые представления CLIP: обученная функция отображает текстовые эмбеддинги CLIP в пространство признаков DINOv2, не дообучая сами базовые энкодеры. Модель предназначена для open-vocabulary сегментации: пользователь задаёт текстовые категории, а модель выделяет соответствующие области изображения без ограничения заранее заданным набором классов. В README заявлены более точная локализация объектов, естественные и менее шумные маски, а также способность различать передний план и фон; авторы сообщают о высоких результатах на нескольких несупервизируемых бенчмарках. Для вывода принимается изображение и текстовые категории, результатом служат сегментационные маски. Репозиторий содержит веса в формате safetensors и использует PyTorch. Лицензия — Apache-2.0.
Two And A Half Dimensions — модель генерации изображений по текстовому описанию, размещённая пользователем Yntec. Она специализируется на стилистике 2.5D, сочетая признаки двумерной иллюстрации и трёхмерного рендера, а также может создавать изображения в других стилях. В примерах показаны мультяшные и аниме-персонажи, поп-арт, сцены в духе 3D-анимации и спортивные сюжеты. Модель предназначена для создания иллюстраций по промптам с описанием персонажей, внешности, одежды, поз, окружения и художественного освещения. Репозиторий использует Diffusers и формат Safetensors; модель основана на Stable Diffusion. Лицензия — CreativeML OpenRAIL-M, условия которой следует учитывать при использовании и распространении результатов.
Video-LLaVA — открытая мультимодальная авторегрессионная модель на основе архитектуры Transformer, разработанная LanguageBind и дообученная на данных для следования мультимодальным инструкциям. В этой версии используется языковая модель lmsys/vicuna-13b-v1.5; модель загружается через библиотеку Transformers и распространяется в формате safetensors. Модель принимает изображения и видео вместе с текстовыми инструкциями и генерирует текстовые ответы. Её можно применять для описания содержимого изображений и видео, визуальных вопросов и ответов, а также диалогов о видеоматериалах. Визуальные представления изображений и видео согласуются в общем пространстве; данные обучения включают наборы LLaVA, Valley и Video-ChatGPT. Карточка заявляет сравнительное преимущество над моделями, рассчитанными только на изображения или видео, однако конкретные метрики здесь не приведены. Лицензия в предоставленных данных не указана.
Video-Ma²mba-1.3B — модель для понимания длинных видео, разработанная исследователями Integrated Vision and Language Lab при KAIST. Она отвечает текстом на вопросы о содержании видео и рассчитана на обработку последовательностей продолжительностью более двух часов при выборке 1 кадр в секунду. Модель объединяет визуальный энкодер SigLIP-so400m, MLP-проектор и языковую модель Mamba-2 с 48 слоями и размером скрытого представления 2048; в языковой части около 1,3 млрд параметров, общий размер модели — около 1,8 млрд. Архитектура LlavaMambaForCausalLM использует слои пространства состояний с линейным масштабированием по длине последовательности, что помогает обрабатывать длинные видео. Модель принимает видео и выдаёт текст; в карточке указан английский язык. Она подходит для вопросов и ответов по видео, анализа длинных записей и обобщения их содержания. В README приведены результаты на Video-MME, LongVideoBench и других тестах, но они не гарантируют качество на произвольных видео. Для инференса нужны поддержка пользовательской архитектуры и специальная предобработка видео; детали настройки предлагается смотреть в официальном репозитории. Лицензия — Apache-2.0.