I.10Видео, анимация и 3D
В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
3 279 моделейdrbaph/HiDream-O1-Image-FP8 — вариант модели HiDream-O1-Image в смешанной точности FP8, подготовленный для запуска через ComfyUI. В README указано, что исходная модель разработана командой HiDream-ai и использует архитектуру Pixel-level Unified Transformer (UiT) с 9 млрд параметров: она работает с пикселями, текстом и условиями задачи в общем пространстве токенов, без внешнего VAE и отдельных текстовых энкодеров. По метаданным модель связана с архитектурой Qwen3-VL и использует библиотеку Diffusers. Модель предназначена для создания изображений по текстовому описанию, редактирования изображений по инструкциям, персонализации по нескольким референсам и генерации раскадровок. README заявляет генерацию с разрешением до 2048 × 2048, поддержку длинного текста и многоязычного текста на изображениях, а также встроенного агента рассуждения для уточнения компоновки перед генерацией. FP8-вариант хранит веса в формате float8_e4m3fn, сохраняя отдельные чувствительные слои в более высокой точности; в README для него указано около 10 ГБ видеопамяти и небольшое снижение качества относительно вариантов BF16 и FP16. Для работы рекомендуется ComfyUI с пользовательским узлом HiDream_O1-ComfyUI. Модель распространяется по лицензии MIT. Заявления о качестве и сравнении с другими моделями приведены в README как результаты исходной модели; отдельная независимая оценка именно этой FP8-квантизации не описана.
zer0int выпустил дообученную версию Long-CLIP ViT-L/14 с обучением на основе разреженного автоэнкодера (SAE) и состязательных примеров. Это модель семейства CLIP для сопоставления изображений с текстовыми описаниями и классификации изображений без примеров для заданных классов. Увеличенная длина текстового ввода позволяет лучше работать с длинными описаниями и следовать сложным промптам; автор также рекомендует её для использования с HunyuanVideo через специальный узел ComfyUI. Модель принимает изображения и текстовые описания, кодирует их для сопоставления и выдаёт оценки соответствия. Она рассчитана на сценарии zero-shot-классификации и поиска изображений по тексту, а также может служить текстовым энкодером в генеративных видеопроцессах. Опубликована в формате safetensors. Лицензия в предоставленных данных не указана.
yijunwang2/krea2-reid — адаптер LoRA для Krea 2 Turbo, разработанный автором репозитория. Он предназначен для генерации и редактирования изображений по текстовому запросу с сохранением внешности персонажа по одному RGB-изображению-образцу. Проверены фотореалистичные, иллюстрированные и стилизованные 3D-образы, в том числе при изменении одежды, позы, кадрирования, освещения и фона. Адаптер использует Qwen3-VL для визуального кондиционирования и токены изображения через VAE; для кэширования reference K/V требуется совместимый edit pipeline. Рекомендуемый режим — 8 шагов и guidance scale 0; выходное соотношение сторон может отличаться от образца. Модель построена как LoRA для трансформера с rank/alpha 32/32 и распространяется в форматах ONNX и safetensors. Репозиторий указывает лицензию «other», но конкретные условия в предоставленных данных не раскрыты. Модель лучше сохраняет узнаваемые черты при смене сцены и композиции, однако результат зависит от запроса, seed, кадрирования и сочетания с другими LoRA. Одежда и поза могут переноситься с полноразмерного образца; при сильной смене сцены могут меняться возрастные детали лица, текстура кожи и макияж. Она не гарантирует биометрическое совпадение и не предназначена для распознавания лиц.
Stable Audio 3 Small SFX — модель Stability AI для генерации звуковых эффектов по текстовому описанию. Это дообученная версия базовой модели stabilityai/stable-audio-3-small-sfx-base из семейства Stable Audio 3. Модель использует латентную диффузионную архитектуру на основе трансформера и семантико-акустический автоэнкодер для представления аудио. Она предназначена для генерации звука переменной длительности; семейство также поддерживает редактирование аудио, включая заполнение выбранных фрагментов и продолжение записей. Для текстового управления применяется предварительно обученная T5Gemma. Модель ориентирована на создание звуковых эффектов по англоязычным запросам. В карточке указана генерация за менее чем две секунды на H200 для семейства моделей, однако фактическая скорость зависит от оборудования и параметров генерации. Для коммерческого использования действует Stability AI Community License; текст карточки также указывает, что компонент T5Gemma распространяется на условиях Gemma Terms of Use.
Align — это компактная модельная каскадная система Desert Ant Labs для уточнения временных границ слов в уже распознанной речи. Она принимает моно-аудио и слова с предварительными временными метками от Apple SpeechTranscriber или SpeechAnalyzer и возвращает те же слова с исправленными временами начала и конца; если поправка выглядит небезопасной, сохраняет исходную метку. Система дополняет распознавание и не заменяет его. Каскад состоит из двух небольших этапов. Для устройств Apple используются скомпилированные Core ML-модели в FP16 общим размером около 560 КБ; также доступны LiteRT-модели TFLite для Linux, Windows и Node. README сообщает о поддержке английского, испанского, французского, итальянского, португальского, немецкого, японского, корейского и китайского языков. Модель предназначена для уточнения меток времени в субтитрах, расшифровках и аудио-видео монтаже; заявленное время обработки — несколько миллисекунд на устройстве. В приведённых измерениях Align снижает ошибку временных границ, но результаты сравнивались преимущественно с машинными оценками, а не с полной разметкой человеком. Исправление может ухудшить отдельные границы; особенно слабый случай — произнесённые числа. Для языков вне поддерживаемого набора входные метки передаются без изменений. В метаданных указана лицензия other; конкретные условия лицензии в предоставленных данных не раскрыты.
ControlNet Union SDXL 1.0 — модель, разработанная командой xinsir для управляемой генерации и редактирования изображений на базе Stable Diffusion XL и архитектуры ControlNet. Она предназначена для text-to-image и image-to-image сценариев, в которых нужно задавать структуру, позу, глубину, контуры, линейный рисунок и другие визуальные условия, а также комбинировать несколько условий в одном запросе. В версии ProMax заявлена поддержка более 10 типов управления и пяти расширенных функций редактирования, включая устранение размытия по тайлам, вариативность, тайловое суперразрешение, inpainting и outpainting. Модель использует модифицированную архитектуру оригинального ControlNet с общими параметрами и единым энкодером условий для разных типов входных изображений. По заявлению авторов, она обучалась на более чем 10 миллионах изображений с применением bucket training, многоразмерного обучения, аугментаций и переформулированных описаний. Это позволяет работать с изображениями высокого разрешения и различными соотношениями сторон, поддерживать одновременное использование нескольких условий без заметного увеличения вычислительных затрат и сохранять совместимость с другими SDXL- и LoRA-моделями. Точный размер модели, список поддерживаемых языков, максимальная длина контекста и полный перечень условий в README не указаны. Сильные стороны модели — универсальность, управление композицией и структурой изображения, поддержка объединения нескольких условий, а также применение к задачам детального редактирования и увеличения разрешения. Ограничения связаны с отсутствием в README подробных инструкций по инференсу, точных требований к оборудованию и количественных результатов оценки; заявленные характеристики производительности и качества не подтверждены приведёнными метриками. Модель распространяется по лицензии Apache-2.0.
Qwen-Image-ControlNet-Union — объединённый ControlNet от InstantX для управления генерацией и редактированием изображений на базе Qwen-Image. Модель принимает изображение с картой управления и текстовое описание, поддерживая четыре типа условий: контуры Canny, мягкие границы, глубину и позу. Она интегрируется с Diffusers и ComfyUI. ControlNet обучен с нуля в течение 50 тысяч шагов на 10 миллионах качественных изображений общего содержания и изображений людей. В архитектуре используются пять двойных блоков из предварительно обученного трансформера; обучение проводилось при разрешении 1328×1328 в BF16. Для управления силой условия предусмотрен параметр controlnet_conditioning_scale. Модель подходит для создания изображений по тексту с сохранением заданных контуров, глубины или позы, а также для редактирования изображений с таким контролем. В README отмечено, что без явного указания текста в промпте некоторые детали, например мелкий текст, могут сохраняться хуже. Лицензия — Apache-2.0.
RefControl Pose LoRA — FLUX.2-klein-4B — это адаптер LoRA, разработанный xocialize для базовой модели black-forest-labs/FLUX.2-klein-base-4B. Он предназначен для генерации изображения персонажа в новой позе по двум входным изображениям: OpenPose-совместимому скелету с целевой позой и референсному изображению, задающему личность и внешний вид объекта. Для работы используется edit-путь FLUX.2-klein; модель не является отдельным ControlNet, а представляет собой низкоранговый адаптер DiT. Требуется триггерное слово refcontrol и текстовая инструкция «apply pose from image 1 with reference from image 2». Порядок изображений критичен: изображение 1 — скелет, изображение 2 — референс. Адаптер имеет ранг 32, содержит около 88 МБ и 160 тензоров, нацелен на 60 double-блоков и 40 single-блоков архитектуры flux2_klein_4b; заявлена загрузка в форматах bf16 и int4. Поддерживается image-to-image генерация, а базовая модель рассчитана на визуальные данные; отдельные языковые характеристики и максимальный контекст в README не указаны. Модель обучалась на примерно 1800 тройках «скелет, референс, результат», охватывающих около 110 идентичностей и 25 типов активности. Она особенно подходит для переноса позы персонажа, включая стилизованных персонажей, но качество зависит от корректного COCO-18 OpenPose-скелета и чистоты референса: сложный фон может переноситься в результат. Лицензия Apache-2.0; исходные материалы из Wikimedia Commons и Pexels не распространяются вместе с весами и требуют соблюдения условий их лицензий и атрибуции.
Sa2VA-26B — мультимодальная чат-модель ByteDance для понимания изображений и видео. Она сочетает языковую модель с SAM2 и предназначена для ответов на вопросы по визуальному содержимому, понимания визуальных подсказок, локализации объектов и их плотной сегментации на изображениях и в видео. В метаданных указаны архитектура Sa2VAChatModel, плотная структура, формат safetensors и библиотека Transformers; размер версии — 26 млрд параметров. Модель подходит для анализа сцен, диалоговых запросов о содержимом изображений и видео, а также для сегментации объектов по текстовым или визуальным подсказкам. Семейство Sa2VA описано как многоязычное; карточка отмечает сопоставимые с ведущими MLLM результаты на бенчмарках вопросов и ответов и высокие результаты на задачах визуального grounding и сегментации. Репозиторий указывает слияние с OpenGVLab/InternVL2.5-26B. Лицензия — Apache-2.0. Длина контекста и конкретный перечень поддерживаемых языков не приведены в доступных источниках.
lllyasviel/sd-controlnet-canny — модель ControlNet, разработанная Lvmin Zhang и Maneesh Agrawala. Это диффузионная модель условной генерации изображений, предназначенная для работы совместно с Stable Diffusion v1.5. Она принимает текстовое описание на английском языке и дополнительное условие в виде карты границ Canny — монохромного изображения с белыми контурами на чёрном фоне — чтобы управлять структурой создаваемого изображения. Модель подходит для сценариев text-to-image и image-to-image, когда важно сохранить композицию, контуры и общую геометрию исходного изображения, одновременно изменяя его содержание или визуальный стиль по текстовому запросу. ControlNet усиливает управляемость генерации и может применяться в художественных и прикладных задачах обработки изображений. Точный размер модели и длина контекстного окна в README не указаны. Модель распространяется по лицензии CreativeML OpenRAIL M, адаптированной из Open RAIL M; ограничения и условия использования определяются текстом этой лицензии.
ARC-Hunyuan-Video-7B — мультимодальная модель TencentARC для структурированного понимания коротких видео из реального мира. Это плотная модель на 7 млрд параметров, построенная на Hunyuan-7B vision-language model и дополненная аудиоэнкодером для совместного анализа визуальных, звуковых и текстовых сигналов. Механизм временных меток на кадрах помогает связывать события с моментами видео. Модель отвечает на открытые вопросы о видео, создаёт описания и сводки с временными метками, определяет временные фрагменты, связанные с запросом, и рассуждает о содержании аудио и видео. Она рассчитана, в частности, на короткие пользовательские ролики; авторы сообщают о поддержке входных видео длительностью до пяти минут. Для более длинных видео рекомендуется разбивать запись на фрагменты и объединять результаты внешней LLM. В README указана возможность локального запуска на одной NVIDIA A100 40 ГБ; для развёртывания через vLLM рекомендованы две такие GPU. Модель ориентирована на китайские платформы коротких видео, однако README не задаёт полный список поддерживаемых языков. Авторы отмечают быстрый анализ и синхронизированное аудиовизуальное рассуждение; результаты демо могут отличаться от опубликованных из-за сжатия видео. Лицензия в предоставленных данных не указана.
misri/cyberrealisticXL_v22 — модель генерации изображений по текстовому описанию, опубликованная пользователем misri на Hugging Face в формате Diffusers и Safetensors. Метаданные указывают на архитектуру Stable Diffusion XL; карточка демонстрирует генерацию изображения по запросу и пример запуска через Diffusers. Модель предназначена для создания изображений по текстовым промптам. Данных о размере контекста и поддерживаемых языках нет, поэтому их характеристики здесь не уточняются. Лицензия в метаданных обозначена как неизвестная; условия использования следует проверять у автора.
Klein_AnimeHDupscaling — специализированная LoRA-модель для повышения разрешения и улучшения деталей изображений в аниме-стилистике. В README разработчиком указан wikeeyang; модель создана как дополнение к базовой модели Flux2-Klein-9B-True-V2. Модель предназначена для сценариев image-to-image и Tile Diffusion, включая увеличение изображений, восстановление после сжатия и повышение четкости аниме-рендеров. Она улучшает детализацию, уменьшает размытие и артефакты, оптимизирует линии и стремится сохранять исходную композицию, текстуру и рисованный вид изображения. Заявлена повышенная структурная стабильность и согласованность персонажей по сравнению с SeedVR2, а также подавление чрезмерной детализации и цветовых ореолов. Для работы рекомендуется использовать вес LoRA 0,8–1,0, 8 шагов сэмплирования, CFG Scale 1,0 и сэмплер Euler Ancestral. Для чистого увеличения рекомендуется низкая сила денойзинга; более высокие значения позволяют сильнее переосмысливать детали. Триггерное слово — «高清4K». Сведения о языках, максимальном контексте и отдельных модальностях, кроме обработки изображений, не указаны. В README указаны лицензии Apache-2.0 и creativeml-openrail-m, поэтому перед использованием необходимо уточнить, какая лицензия имеет приоритет для конкретной версии модели и какие ограничения применяются.
Карточка модели armandosds/Molmo2-4B на Hugging Face совпадает с карточкой allenai/Molmo2-4B, поэтому описание составлено по ней. Molmo2-4B — открытая мультимодальная модель семейства Molmo2, разработанная Allen Institute for AI (Ai2). Она предназначена для диалога о визуальных данных: модель анализирует изображения, несколько изображений и видео, отвечает на вопросы и связывает текстовые описания с объектами и событиями в кадре. В числе заявленных сильных сторон — короткие видео, подсчёт объектов и создание подписей; на длинных видео модель показывает конкурентные результаты среди моделей сопоставимого размера. Модель объединяет языковую основу Qwen3-4B-Instruct-2507 с визуальной частью на базе SigLIP 2; архитектура — плотная Molmo2ForConditionalGeneration. Репозиторий содержит веса Safetensors и рассчитан на использование через Transformers. Обучение использовало общедоступные сторонние наборы данных и тщательно отобранные пары изображение–текст и видео–текст. Лицензия — Apache-2.0.
Molmo2-O-7B — открытая мультимодальная модель понимания изображений и видео, разработанная Allen Institute for AI (Ai2). Она предназначена для диалога с визуальными данными: отвечает на вопросы по изображениям, отдельным кадрам и видео, создаёт описания и поддерживает задачи визуального указания и отслеживания объектов. Модель построена на архитектуре Molmo2 с 7 млрд параметров: в основе лежит Olmo-3-7B-Instruct, а для обработки изображений используется визуальный энкодер SigLIP 2. По данным разработчика, модель сильна в понимании коротких видео, подсчёте объектов и создании подписей, а на длинных видео показывает конкурентные результаты. Основной язык карточки — английский. Модель распространяется в формате safetensors и использует лицензию Apache-2.0.
Карточка модели ByteDance/Sa2VA-InternVL3-2B на Hugging Face совпадает с карточкой ByteDance/Sa2VA-Qwen2_5-VL-3B, поэтому описание составлено по ней. ByteDance/Sa2VA-Qwen2_5-VL-3B — мультимодальная чат-модель семейства Sa2VA, предназначенная для работы с изображениями и видео. Она отвечает на вопросы по визуальному содержимому, понимает визуальные подсказки и выполняет сегментацию объектов с плотной привязкой к изображению или кадрам видео. Семейство Sa2VA объединяет языковые и визуальные компоненты; в этом репозитории указаны 3,1 млрд параметров, архитектура Sa2VAChatModelQwen и контекст до 128 000 токенов. Модель рассчитана на визуальные диалоги, локализацию объектов и сегментацию, включая задачи на видео. В README семейство Sa2VA описано как конкурентоспособное с Qwen2.5-VL и InternVL3 в тестах ответов на вопросы и сильное в визуальной привязке и сегментации. Указанная лицензия — Apache-2.0. Поддержка языков обозначена как многоязычная, без перечисления отдельных языков.
Карточка модели ByteDance/Sa2VA-Qwen2_5-VL-7B на Hugging Face совпадает с карточкой ByteDance/Sa2VA-Qwen2_5-VL-3B, поэтому описание составлено по ней. ByteDance/Sa2VA-Qwen2_5-VL-3B — мультимодальная чат-модель семейства Sa2VA, предназначенная для работы с изображениями и видео. Она отвечает на вопросы по визуальному содержимому, понимает визуальные подсказки и выполняет сегментацию объектов с плотной привязкой к изображению или кадрам видео. Семейство Sa2VA объединяет языковые и визуальные компоненты; в этом репозитории указаны 3,1 млрд параметров, архитектура Sa2VAChatModelQwen и контекст до 128 000 токенов. Модель рассчитана на визуальные диалоги, локализацию объектов и сегментацию, включая задачи на видео. В README семейство Sa2VA описано как конкурентоспособное с Qwen2.5-VL и InternVL3 в тестах ответов на вопросы и сильное в визуальной привязке и сегментации. Указанная лицензия — Apache-2.0. Поддержка языков обозначена как многоязычная, без перечисления отдельных языков.
VIBE — модель для генерации фоновой музыки по видео и текстовой инструкции. Она создаёт музыку, которая учитывает содержание ролика и заданные пользователем параметры, например темп, тональность, настроение и инструменты. Модель разработана на основе VoxCPM и адаптирована для музыки; в её архитектуре используются мультимодальная семантическая языковая модель MiniCPM4-0.5B, блок RITE и диффузионный трансформер LocDiT с условным flow matching. Вместо дискретного аудиотокенизатора модель работает с непрерывными латентными представлениями; заявлен стереовыход с частотой 48 кГц. VIBE рассчитана на создание коротких инструментальных фоновых музыкальных фрагментов для видео с явным управлением через текст. Обучение включает генерацию музыки по тексту и видео, а также оптимизацию с подкреплением по оценкам мультимодального судьи и проверяемым правилам для темпа и тональности. Модель принимает видео и текст, выдаёт аудио. Языковой тег en относится к текстовым инструкциям, а не к аудио. В карточке указаны 953,5 млн параметров и лицензия Apache-2.0. Репозиторий содержит веса, но для запуска нужны код VIBE, внешний музыкальный VAE и конфигурация препроцессора CLIP. Это экспериментальная исследовательская модель: генерация может содержать артефакты, соблюдение инструкций надёжнее для темпа, чем для тональности. Модель не предназначена для вокала, полноформатных аранжировок или использования в производстве без дополнительной проверки.
X-CLIP — видеоязыковая модель семейства CLIP, разработанная Microsoft и представленная Ni и соавторами в работе «Expanding Language-Image Pretrained Models for General Video Recognition». Это базовая модель с патчами размером 32, обученная с учителем на датасете Kinetics-400 в контрастивном режиме на парах «видео — текст». Для обработки каждого видео использует 16 кадров с разрешением 224×224. Модель подходит для классификации видео zero-shot, few-shot и с учителем, а также для поиска соответствия между видео и текстом и поиска видео по текстовому запросу. На Kinetics-400 указаны результаты top-1 81,1% и top-5 95,5%. В репозитории доступны веса PyTorch и safetensors; лицензия — MIT. Карточка приводит английский язык в метаданных, но не утверждает, что модель рассчитана только на английский.
calcuis/cosmos-predict2-gguf — это GGUF-квантизированная версия моделей Cosmos-Predict2, разработанная сообществом calcuis на основе моделей NVIDIA. В репозитории представлены варианты, включая модели на 2B и 14B параметров; в метаданных базовой моделью указана nvidia/Cosmos-Predict2-2B-Text2Image. Модель предназначена прежде всего для генерации изображений по текстовому описанию и интеграции с ComfyUI через gguf-node. В примерах показана генерация сцен с людьми, атмосферой, дождём, городскими и кинематографичными сюжетами; также приведены видеопримеры, однако точные возможности, архитектура, поддерживаемые языки и размер контекста не указаны. Для работы требуются GGUF-файлы модели, текстового энкодера t5xxl-old и VAE pig, размещённые в соответствующих каталогах ComfyUI. Использование полностью в формате GGUF позволяет отказаться от safetensors и ориентировано на совместимость с gguf-node. Лицензия указана как NVIDIA Open Model License; условия следует уточнять по официальному тексту лицензии NVIDIA.
FLUX.1 Canny [dev] — модель генерации изображений от Black Forest Labs. Это трансформер rectified flow на 12 млрд параметров, обученный с помощью дистилляции guidance. Он создаёт изображение по текстовому описанию, одновременно следуя структуре входного изображения, заданной картой контуров Canny. Модель подходит для преобразования эскизов и контурных изображений в иллюстрации, а также для редактирования визуального результата по текстовой инструкции с сохранением композиции исходника. Для запуска предусмотрен интерфейс FluxControlPipeline в библиотеке Diffusers. Модель хорошо сочетает следование текстовому запросу с сохранением структуры исходного изображения. Она может не точно выполнять запросы, а результат зависит от стиля формулировки промпта; модель не предназначена для получения фактической информации и может усиливать социальные предубеждения. Лицензия FLUX.1 [dev] Non-Commercial License допускает личное и научное использование, а также коммерческое использование с ограничениями, установленными лицензией.
MOSS-SoundEffect v2.0 — модель генерации звуковых эффектов по текстовому описанию, разработанная командой OpenMOSS-Team. Она преобразует естественно-языковые запросы в атмосферные, городские, животные и другие звуки, включая действия людей и короткие музыкальные или перкуссионные фрагменты. Модель предназначена для создания звукового оформления сцен, игр, видео и аудиоконтента. В основе — Diffusion Transformer с обучением Flow Matching, DAC VAE и текстовый энкодер Qwen3. Модель содержит 1,3 млрд параметров, генерирует звук с частотой 48 кГц и поддерживает длительность до 30 секунд за один вызов. Обучающие описания были на английском и китайском языках. Репозиторий использует Diffusers и формат Safetensors. Модель распространяется по лицензии Apache-2.0. Для генерации требуется значительное число шагов сэмплирования; README указывает 100 шагов как значение по умолчанию. Указанные языки обучающих описаний не гарантируют одинаковое качество для других языков.
Sa2VA-8B — мультимодальная модель ByteDance для диалога с визуальными данными. Она объединяет возможности InternVL2.5-8B и сегментацию на основе SAM2; в карточке семейства для языковой части указана internlm2_5-7b-chat. Модель обрабатывает изображения и видео, отвечает на вопросы о них, понимает визуальные подсказки и выполняет плотную сегментацию объектов с привязкой к содержимому сцены. Модель подходит для визуального поиска и анализа сцен, сегментации объектов по текстовому или визуальному запросу, а также для вопросов и ответов по изображениям и видео. В README заявлены результаты, сопоставимые с Qwen2-VL и InternVL2.5 на бенчмарках вопросов и ответов, и сильные результаты на бенчмарках визуальной привязки и сегментации; конкретные оценки приведены для Sa2VA-8B. Репозиторий содержит веса safetensors, модель использует Transformers и распространяется по лицензии Apache-2.0.
Карточка модели ByteDance/Sa2VA-InternVL3-14B на Hugging Face совпадает с карточкой ByteDance/Sa2VA-Qwen2_5-VL-3B, поэтому описание составлено по ней. ByteDance/Sa2VA-Qwen2_5-VL-3B — мультимодальная чат-модель семейства Sa2VA, предназначенная для работы с изображениями и видео. Она отвечает на вопросы по визуальному содержимому, понимает визуальные подсказки и выполняет сегментацию объектов с плотной привязкой к изображению или кадрам видео. Семейство Sa2VA объединяет языковые и визуальные компоненты; в этом репозитории указаны 3,1 млрд параметров, архитектура Sa2VAChatModelQwen и контекст до 128 000 токенов. Модель рассчитана на визуальные диалоги, локализацию объектов и сегментацию, включая задачи на видео. В README семейство Sa2VA описано как конкурентоспособное с Qwen2.5-VL и InternVL3 в тестах ответов на вопросы и сильное в визуальной привязке и сегментации. Указанная лицензия — Apache-2.0. Поддержка языков обозначена как многоязычная, без перечисления отдельных языков.
Карточка модели ByteDance/Sa2VA-InternVL3-8B на Hugging Face совпадает с карточкой ByteDance/Sa2VA-Qwen2_5-VL-3B, поэтому описание составлено по ней. ByteDance/Sa2VA-Qwen2_5-VL-3B — мультимодальная чат-модель семейства Sa2VA, предназначенная для работы с изображениями и видео. Она отвечает на вопросы по визуальному содержимому, понимает визуальные подсказки и выполняет сегментацию объектов с плотной привязкой к изображению или кадрам видео. Семейство Sa2VA объединяет языковые и визуальные компоненты; в этом репозитории указаны 3,1 млрд параметров, архитектура Sa2VAChatModelQwen и контекст до 128 000 токенов. Модель рассчитана на визуальные диалоги, локализацию объектов и сегментацию, включая задачи на видео. В README семейство Sa2VA описано как конкурентоспособное с Qwen2.5-VL и InternVL3 в тестах ответов на вопросы и сильное в визуальной привязке и сегментации. Указанная лицензия — Apache-2.0. Поддержка языков обозначена как многоязычная, без перечисления отдельных языков.
Это Canny ControlNet от Stability AI для Stable Diffusion 3.5 Large. Модель принимает текстовое описание и изображение с картой контуров Canny, чтобы генерировать изображение, согласованное с заданной композицией. Её можно использовать с официальным репозиторием SD 3.5 или через Diffusers; предварительную обработку изображения для получения карты контуров нужно выполнить отдельно. Модель предназначена для управляемой генерации изображений, когда важно следовать контурам исходного изображения. В README рекомендовано начинать с силы ControlNet 0,8; выборка Euler и 50–60 шагов могут улучшить результат. Модель не обучена создавать фактически достоверные изображения людей или событий. Данные обучения включали синтетические и отфильтрованные общедоступные материалы. Репозиторий использует формат safetensors и распространяется по Stability Community License; коммерческое лицензирование регулируется условиями Stability AI. Использование должно соответствовать Acceptable Use Policy.
VideoScore-v1.1 — модель TIGER-Lab для автоматической оценки качества видео и соответствия видео текстовому описанию. Это регрессионная мультимодальная модель на базе Mantis-8B-Idefics2, дообученная на наборе VideoFeedback с человеческими оценками по нескольким аспектам. В метаданных указана архитектура Idefics2ForSequenceClassification и формат весов safetensors. Модель принимает видео и текст и выдаёт оценки качества, пригодные для сравнения с человеческими оценками. В версии 1.1 улучшена оценка соответствия текста видео и поддержан инференс по 48 кадрам. В README сообщается о корреляции Спирмена 74,0 на тестовой части VideoFeedback и результатах на GenAI-Bench и VBench; эти показатели относятся к указанным бенчмаркам. Модель предназначена для оценки и ранжирования результатов генерации видео, но не создаёт видео. Она опубликована под лицензией MIT. Результаты оценки могут не совпадать с человеческими предпочтениями за пределами обучающих данных и проверенных бенчмарков.
VILA-U-7B-256 — мультимодальная базовая модель семейства VILA-U, разработанная MIT Han Lab. Она объединяет понимание видео, изображений и языка с генерацией текста и изображений в единой авторегрессионной архитектуре next-token prediction. Вместо отдельных модулей для понимания и генерации визуальных данных модель использует единый vision tower, который связывает дискретные визуальные токены с текстом. Модель предназначена для визуально-языковых сценариев: анализа изображений и видео, ответов на вопросы по визуальному содержимому и авторегрессионной генерации изображений. В README заявлена производительность, близкая к передовым системам в понимании и генерации визуального контента. Репозиторий содержит веса в формате safetensors; лицензия — MIT. Размер 7B следует из идентификатора модели, однако контекстное окно и поддерживаемые естественные языки в предоставленных данных не описаны.
Модель raulc0399/flux_dev_openpose_controlnet — это обученный для FLUX.1-dev модуль ControlNet, который использует позу OpenPose, чтобы направлять генерацию изображений по текстовому описанию. Разработчик указал, что обучение спонсировала Oxen.ai; модель представлена в формате safetensors и рассчитана на работу с FLUX.1-dev. Модель подходит для создания изображений с заданной позой человека: например, чтобы разместить персонажа в сцене и сохранить положение тела, заданное OpenPose. Карточка показывает примеры генерации по текстовым запросам, но не сообщает размер модели, длину контекста или конкретную лицензию; в метаданных лицензия обозначена как other.
KamCastle/jugg — модель генерации изображений по текстовому описанию, опубликованная пользователем KamCastle на Hugging Face. Файл модели называется juggernaut_reborn.safetensors, а метаданные относят её к семейству StableDiffusionPipeline и библиотеке Diffusers. Модель предназначена для text-to-image сценариев: создания изображений на основе текстовых промптов, включая реалистичные и художественные композиции. Объём модели составляет около 0,9 млрд параметров. Поддерживается формат SafeTensors и запуск через совместимые инструменты Diffusers. Модель работает с текстовыми запросами на естественных языках, однако конкретный перечень поддерживаемых языков в доступных источниках не установлен. Лицензия в доступных метаданных и результатах поиска не подтверждена.