/ Профессии
Универсальные способности и операции

I.10Видео, анимация и 3D

В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ВидеоТекст
AI-задач
18
в этой профессии
Подходящих моделей
3 279
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ВидеоТекст

Рекомендованные модели

3 279 моделей
Загрузки
Лайки
Дата выхода
631–660 из 3 279
TencentARC
DSR_Suite-Model

TencentARC DSR Suite — дообученная мультимодальная модель для динамического пространственного рассуждения по видео, представленная в работе Learning to Reason in 4D. Она анализирует, как геометрия объектов и пространственные отношения меняются со временем, и отвечает на вопросы о содержимом видео. Модель основана на Qwen2.5-VL-7B-Instruct, имеет 7,1 млрд параметров и контекст длиной до 128 000 токенов; поддерживает обработку видео и текстовые ответы. Для обучения использованы набор DSR-Train из 50 000 вопросов и ответов и модуль Geometry Selection Module, который добавляет геометрические априорные данные от 3D-моделей. Для оценки разработчики представили бенчмарк DSR-Bench из 1 484 вопросов. Модель рассчитана на анализ пространственной динамики в видео и может использоваться в исследовательских и прикладных сценариях визуального понимания. Лицензия — Apache-2.0.

756дек. 2025ctx128K
textvideoapache-2.0hugging-face
FastVideo
FastVideo-FastH3-4-step-Preview-v1-Dense-DataFree

FastVideo FastH3 4-step Preview v1 Dense DataFree — экспериментальный чекпойнт FastVideo для генерации синхронизированных видео и аудио по текстовому описанию. Это абляционная версия с плотным вниманием на базе MiniMaxAI/MiniMax-H3, обученная методом DMD2 без данных; указанный шаг обучения — 1000. Генерация выполняется за четыре прохода трансформера. Модель предназначена для быстрого создания коротких аудиовизуальных роликов по текстовым запросам. В README отмечено, что сложное движение, мелкие детали и часть аудио могут получаться хуже, чем у базовой MiniMax H3; сценарии FL2VA и Ref2VA для этого чекпойнта не дистиллировались. Репозиторий содержит веса в формате safetensors и использует библиотеку Diffusers. Модель наследует лицензию MiniMax H3 Community License.

8032авг. 2026
textvideootherhugging-face
lmms-lab
LLaVA-Video-7B-Qwen2-Video-Only

LLaVA-Video-7B-Qwen2-Video-Only — мультимодальная диалоговая модель LMMS-Lab для взаимодействия с видео. Она дообучена на базе lmms-lab/llava-onevision-qwen2-7b-si на видеоданных из LLaVA-Video-178K; архитектура сочетает SO400M и языковую модель Qwen2, содержит 7,1 млрд параметров и использует окно контекста 32 768 токенов. Модель принимает видео, включая до 110 кадров, и формирует текстовые ответы на вопросы о содержимом роликов. По заявлению авторов, на видео-бенчмарках она показывает результаты, сопоставимые с LLaVA-Video-7B-Qwen2. Модель предназначена для диалога по видео и анализа видеосцен. В карточке указаны английский и китайский языки. Модель выпущена в формате Safetensors и распространяется по лицензии Apache 2.0. Авторы отмечают, что обучение проводилось только на видеоданных набора LLaVA-Video-178K.

1075сент. 2024ctx32.8K
textapache-2.0hugging-face
pipenetwork
MiniMax-H3-MLX-f32

MiniMax-H3-MLX-f32 — сборка модели MiniMax H3 для MLX на Apple Silicon, подготовленная автором репозитория pipenetwork. Это диффузионный трансформер для совместной генерации видео и синхронизированного с ним аудио. Модель не является языковой: видеолатенты и аудиолатенты обрабатываются совместно, а замороженный энкодер Qwen3-VL-32B и отдельные VAE для видео и аудио загружаются из исходного выпуска MiniMax; в репозитории находятся только веса трансформера. Веса преобразованы в формат MLX и расширены до float32 из исходной точности bfloat16. Это lossless-преобразование без дополнительной информации или точности, предназначенное прежде всего для дообучения в float32 и численных экспериментов; для генерации автор рекомендует вариант bf16. Метаданные указывают 23,1 млрд параметров, тогда как README описывает базовую архитектуру как 33B. Модель создаёт видео и аудио по текстовым условиям; базовая MiniMax H3 также принимает изображения, видео и аудио. Работа требует кода пайплайна и компонентов из upstream-выпуска. Сборка рассчитана на Apple Silicon и MLX, занимает около 132,5 ГБ на диске и требует значительной памяти при генерации. Плотное внимание делает генерацию медленной, а квантизация лишь умеренно ускоряет её. Лицензия указана как other; конкретные условия использования в предоставленных сведениях не раскрыты.

1620авг. 2026
textimagevideootherhugging-face
DAMO-NLP-SG
VideoLLaMA2.1-7B-16F

VideoLLaMA2.1-7B-16F — чат-модель для понимания видео, разработанная командой DAMO-NLP-SG. Она принимает видеокадры и текстовый запрос, чтобы описывать события, отвечать на вопросы о содержании и анализировать временную последовательность сцен. Версия 16F использует 16 кадров; в карточке указаны архитектура VideoLLaMA2 с языковой моделью Qwen2, 7,1 млрд параметров и контекст длиной 32 768 токенов. Модель предназначена для диалоговых сценариев с видео. В README также заявлены пространственно-временное моделирование и понимание аудио в видео, однако доступные сведения для этой версии не уточняют обработку звука как входа. Карточка перечисляет английский язык. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

1699окт. 2024ctx32.8K
textapache-2.0hugging-face
memset0
vsqa-preview-14b-200steps

memset0/vsqa-preview-14b-200steps — промежуточный чекпойнт проекта VSQA на базе Wan2.1-T2V-14B для генерации видео по текстовому описанию. Это студент DMD-дистилляции на 200-м шаге из запланированных 1000; модель использует 14-миллиардную диффузионную архитектуру Wan2.1 и обучалась с разреженным вниманием VSA и quantization-aware training для NVFP4 в слоях внимания и линейных слоях. Модель рассчитана на генерацию видео за три шага денойзинга. Контракт сэмплирования задаёт 77 кадров размером 1280×768, guidance scale 1.0 и flow_shift 8.0. Для воспроизведения чисел обучения нужны специализированные FastVideo VSA/QAT kernels; запуск с обычными плотными BF16-слоями представляет собой непроверенную конфигурацию. Чекпойнт опубликован для раннего ознакомления и не оценивался. Лицензия — Apache-2.0, унаследованная от базовой модели.

140сент. 2026
textvideoapache-2.0hugging-face
vantagewithai
LTX2.3-10Eros-1.4-GGUF

vantagewithai/LTX2.3-10Eros-1.4-GGUF — это GGUF-версия модели LTX2.3-10Eros-1.4, разработанная для использования в ComfyUI. Модель основана на TenStrip/LTX2.3-10Eros и связана с Sulphur-2-base от SulphurAI. По метаданным она предназначена для генерации видео из изображений (image-to-video), включая сцены для взрослых и эротические сценарии. Модель ориентирована на преобразование исходного изображения в развивающуюся видеосцену с управляемыми движениями, изменениями композиции, диалогами и звуковыми событиями через подробные текстовые подсказки. Для версии 1.4 заявлено возвращение поддержки явных подсказок и движения при снижении склонности к перерисовке анатомии и нежелательным эффектам. Разработчик отмечает, что требуется тщательная проработка промптов, а для улучшения результата могут применяться LoRA-стэки и специализированная DMD LoRA. Ключевые характеристики архитектуры, количество параметров, поддерживаемые языки, размер контекста и точный набор модальностей в README не указаны. Среди ограничений отмечены недостаточно качественное отображение анатомии и высокая зависимость от строгих, подробных и директивных промптов; модель обладает слабым самостоятельным рассуждением при условии генерации. Для работы могут потребоваться пользовательские узлы TenStrip для ComfyUI и соответствующий специализированный workflow. Лицензия в README не указана.

3.2K29июль 2026
textimagevideohugging-face
SexGod1979
PinkCherry_MiniMax-H3

PinkCherry_MiniMax-H3 — экспериментальная модель из семейства MiniMax-H3, представленная автором как работа над дообучением PinkCherry для ref2va. Карточка также упоминает LoRA NaughtyTimes v3 и вариант fl2va, но не поясняет их связь с опубликованной моделью. В метаданных указаны задача text-to-video, архитектура MiniMaxH3 и формат safetensors. Модель предназначена для генерации видео по текстовому описанию. Автор сообщает о варианте LoRA в точности fp32 и об отказе выпускать версию int8. Репозиторий распространяется по лицензии Apache-2.0. В карточке нет сведений о размере модели, длине контекста, поддерживаемых языках или практическом качестве генерации.

743424авг. 2026
textvideoapache-2.0hugging-face
ali-vilab
text-to-video-ms-1.7b

Text-to-video-ms-1.7b — диффузионная модель генерации видео по текстовому описанию, разработанная ModelScope и опубликованная Alibaba. Она принимает описание на английском языке и создаёт соответствующее видео. Модель использует многоэтапную архитектуру из трёх частей: извлечение текстовых признаков, диффузия в латентном пространстве видео и преобразование видео из латентного пространства в визуальное; диффузионная часть построена на UNet3D. Размер модели составляет около 1,7 млрд параметров. Модель предназначена для создания видео по произвольным англоязычным запросам и экспериментов с генерацией видео. В README описана возможность генерации роликов продолжительностью до 25 секунд при оптимизации использования памяти, однако результат зависит от оборудования и настроек. Модель плохо справляется со сложными композициями, не создаёт чёткий текст в кадре и не обеспечивает кинематографическое качество. Она обучалась на публичных наборах данных, включая WebVid, LAION5B и ImageNet, поэтому результаты могут отражать их смещения. В README указана лицензия CC-BY-NC-ND, тогда как метаданные Hugging Face указывают CC-BY-NC-4.0; условия лицензирования в источниках расходятся. Перед использованием следует свериться с актуальной лицензией репозитория. В README также запрещена генерация порнографического, насильственного и кровавого контента, а также унижающего или вредоносного контента.

9.7K698март 2023
textvideocc-by-nc-4.0hugging-face
zai-org
cogvlm2-video-llama3-chat

CogVLM2-Video-Llama3-Chat — чат-модель для понимания видео, разработанная командой Zhipu AI. Она отвечает на вопросы о содержании видеороликов и поддерживает временную привязку событий; карточка сообщает о результатах на нескольких бенчмарках VideoQA. Это версия для однораундового диалога на основе архитектуры CogVLM2VideoForCausalLM, содержащая 8,3 млрд параметров и работающая с видео и текстовыми запросами. Модель ориентирована на сценарии видеоаналитики и вопросов-ответов по видео. В метаданных указан английский язык и контекст 2048 токенов. Веса опубликованы в формате safetensors; лицензия обозначена как other, поэтому условия использования следует сверять с лицензией в репозитории. Заявленное в README понимание видео длительностью до минуты не гарантирует одинакового качества на любых роликах и запросах.

33156июль 2024ctx2K
textotherhugging-face
OpenGVLab
InternVL_2_5_HiCo_R64

InternVL2.5 HiCo R64 — экспериментальный вариант видеомультимодальной языковой модели InternVideo2.5, разработанный на основе InternVL2.5. Модель использует технологию Adaptive Hierarchical Token Compression (HiCo) и представляет каждый кадр 64 токенами. Вариант HiCo R64 относится к абляционным экспериментам и применяет HiCo без описанного в карточке обучения с плотной видеоразметкой и TPO. Модель предназначена для диалога и анализа видео: она воспринимает визуальные детали и временные связи в длинных роликах и отвечает на вопросы о содержании. В README приведены результаты на MVBench, LongVideoBench и VideoMME. Метаданные указывают архитектуру InternVLChatModel и библиотеку Transformers; данные представляются в формате safetensors. Карточка указывает лицензию Apache-2.0. Заявленная поддержка языка — английский.

1344янв. 2025ctx16.4K
textapache-2.0hugging-face
ibyteohdear
Lightricks-LTX-2-DISTILLED-10-Eros

ibyteohdear/Lightricks-LTX-2-DISTILLED-10-Eros — пользовательский ремикс на основе семейства LTX-2.3 от Lightricks. Это диффузионная модель генерации видео; указанная задача — image-to-video. Автор ремикса описывает несколько версий и вариантов весов, предназначенных для создания откровенных сцен и последующей доработки LoRA-адаптерами. Для управления результатом требуются подробные, тщательно составленные промпты. Исходная модель LTX-2.3 — аудиовизуальная DiT-модель, способная создавать синхронизированные видео и аудио; в этой карточке, однако, подтверждена только генерация видео по изображению. В README отмечены изменения аудио и визуального качества в исходном семействе, но автор ремикса сообщает о проблемах с аудио и нестабильности отдельных версий. Языковые сведения различаются: карточка LTX-2.3 называет английский, а метаданные репозитория перечисляют английский, немецкий, испанский, французский, японский, корейский, китайский, итальянский и португальский. Разработчик ремикса не указан; исходную модель разработала Lightricks. README упоминает типичные артефакты, включая ошибки анатомии, дрейф лиц, субтитры, нежелательные переходы и неточное следование промпту. Лицензия в метаданных обозначена как other, без уточнения условий для этого ремикса.

56K16июнь 2026
textimagevideootherhugging-face
Hearmeman
minimax-h3-loras

Hearmeman/minimax-h3-loras — набор LoRA-адаптеров от HearmemanAI для базовой модели MiniMaxAI/MiniMax-H3. Адаптеры предназначены для генерации видео по тексту и изображениям, а также для генерации отдельных изображений; используются в рабочих процессах ComfyUI. Коллекция ориентирована на взрослый контент 18+ и включает отдельные адаптеры для действий и анатомических особенностей, которые можно комбинировать с LoRA персонажей или сцен. В набор входят видеообученные action-адаптеры и обученные на статичных изображениях anatomy-адаптеры. Для некоторых указаны триггерные слова и рекомендуемая сила воздействия, например HMNSFW V2.5 с триггером hmmotion и значением 0,5–0,9. Этот адаптер обучен примерно на 1000 видео и заявлен как хорошо подходящий для image-to-video, обеспечивая согласованную анатомию и движение; при этом качество зависит от подробности промпта и случайного seed. Технические параметры базовой MiniMax-H3, включая размер, архитектуру, языки и длину контекста, в README не раскрыты. Модель распространяется по лицензии minimax-h3-community-license; применение регулируется условиями лицензии MiniMax-H3.

29K53авг. 2026
textvideootherhugging-face
rzgar
MOVA-720p-360p-ComfyUI

Это набор объединённых весов MOVA для запуска генерации видео в ComfyUI, собранный rzgar на основе MOVA-360p и MOVA-720p от OpenMOSS. Репозиторий содержит варианты для разрешений 360p и 720p; для вариантов высокого и низкого шума используются отдельные видеодиффузионные компоненты, тогда как видео- и аудиокодировщики, токенизатор, планировщик и текстовый энкодер общие. Веса представлены в формате safetensors и поддерживают FP8. Модель предназначена для мультимодальной генерации видео с возможностью работы со звуком через ComfyUI. README описывает пользовательский узел ComfyUI, который умеет загружать модели с ограниченной видеопамятью, но пока не завершён. Экспериментальный путь LightX2V ускоряет генерацию, однако качество видео и звука снижено; надёжная генерация синхронной речи и звука не реализована. Репозиторий распространяется по лицензии Apache-2.0.

251июль 2026
textapache-2.0hugging-face
camenduru
potat1

Potat 1 — прототип модели генерации видео по текстовому описанию, опубликованный camenduru. README называет её первой открытой моделью для генерации видео с разрешением 1024×576. Модель обучали на одном ускорителе A100 с 40 ГБ памяти на 2 197 клипах и 68 388 размеченных кадрах; для разметки использовался salesforce/blip2-opt-6.7b-coco. Указано 10 000 шагов обучения. Модель предназначена для экспериментального создания коротких видеоклипов по текстовым запросам. Репозиторий содержит веса в форматах Diffusers и PyTorch. README обозначает Potat 1 как прототип и не приводит сведений о лицензии, контекстном окне или поддерживаемых языках.

57160июнь 2023
textvideohugging-face
Diankun
Spatial-MLLM-v1.1-Instruct-135K

Карточка модели Diankun/Spatial-MLLM-v1.1-Instruct-135K на Hugging Face совпадает с карточкой Diankun/Spatial-MLLM-subset-sft, поэтому описание составлено по ней. Diankun/Spatial-MLLM-subset-sft — дообученная мультимодальная модель семейства Qwen2.5-VL, предназначенная для анализа видео и ответов на вопросы о визуальной пространственной информации. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2_5_VL_VGGTForConditionalGeneration, работает через Transformers и принимает контекст до 128 000 токенов. Модель описана в работе Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence. Она подходит для диалогового анализа видеосцен с пространственным содержанием и формирования ответов на естественном языке. Базовая модель — Qwen/Qwen2.5-VL-3B-Instruct. Репозиторий распространяется по лицензии MIT.

1030дек. 2025ctx128K
textvideomithugging-face
Diankun
Spatial-MLLM-v1.1-Instruct-820K

Карточка модели Diankun/Spatial-MLLM-v1.1-Instruct-820K на Hugging Face совпадает с карточкой Diankun/Spatial-MLLM-subset-sft, поэтому описание составлено по ней. Diankun/Spatial-MLLM-subset-sft — дообученная мультимодальная модель семейства Qwen2.5-VL, предназначенная для анализа видео и ответов на вопросы о визуальной пространственной информации. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2_5_VL_VGGTForConditionalGeneration, работает через Transformers и принимает контекст до 128 000 токенов. Модель описана в работе Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence. Она подходит для диалогового анализа видеосцен с пространственным содержанием и формирования ответов на естественном языке. Базовая модель — Qwen/Qwen2.5-VL-3B-Instruct. Репозиторий распространяется по лицензии MIT.

900янв. 2026ctx128K
textvideomithugging-face
OpenGVLab
VideoChat-Flash-Qwen2-7B_res224

VideoChat-Flash-Qwen2-7B_res224 — модель для диалога и ответов на вопросы о видео, разработанная OpenGVLab на основе UMT-L (300M) и Qwen2-7B. Она принимает видео и текстовые запросы, формируя текстовые ответы; модель использует 16 токенов на кадр и рассчитана на длинные видеопоследовательности. В README указана поддержка до примерно 10 000 кадров, а контекст Qwen2 в метаданных составляет 32 768 токенов; заявленное расширение контекста до 128k относится к Yarn. В README приведены результаты на MVBench, LongVideoBench и VideoMME, включая 73,2, 64,2 и 64,0 для версии 7B при разрешении 224. Обучающий корпус преимущественно англоязычный, поэтому рекомендуется задавать вопросы по-английски; понимание китайского описано как базовое. Репозиторий содержит веса safetensors, используется библиотека Transformers, лицензия — Apache-2.0.

797янв. 2025ctx32.8K
textapache-2.0hugging-face
Video-R1
Video-R1-7B

Video-R1-7B — мультимодальная модель на 7,1 млрд параметров, разработанная для исследования Video-R1: Reinforcing Video Reasoning in MLLMs. Она дообучена на Qwen/Qwen2.5-VL-7B-Instruct и предназначена для анализа видео и ответов на вопросы о его содержимом. Модель использует архитектуру Qwen2.5-VL, принимает текст и видео и генерирует текст; заявленное контекстное окно — 128 000 токенов. Поддержка видео является основной задачей модели, а английский указан среди языков карточки. Модель распространяется в формате safetensors по лицензии Apache-2.0.

42218март 2025ctx128K
textvideoapache-2.0hugging-face
YizzafoShizza
Cosmos3-Nano-Abliterated

Карточка модели YizzafoShizza/Cosmos3-Nano-Abliterated на Hugging Face совпадает с карточкой DuoNeural/Cosmos3-Nano-Abliterated, поэтому описание составлено по ней. Cosmos3-Nano-Abliterated — видеогенеративная модель DuoNeural Research Lab, полученная дообучением NVIDIA/Cosmos3-Nano методом удаления направления отказов (abliteration). Модель основана на архитектуре Mixture-of-Transformers и предназначена для генерации видео по текстовому описанию; обработка промптов выполняется авторегрессионным потоком понимания, который взаимодействует с потоком генерации видеокадров. Вариант Nano поддерживает генерацию видео, но не предсказание действий робота. По данным карточки, изменены веса поздних слоёв потока понимания. В испытаниях модель создавала видеокадры для всех проверенных запросов; качество обычных сцен, по сообщению авторов, сохранялось, а для откровенных или потенциально вредоносных запросов заметно снижалась точность и детализация генерации. Это ранняя экспериментальная модификация, а полноценная оценка качества видеогенерации не приведена. Модель распространяется под лицензией `other`; конкретные условия лицензии в предоставленных сведениях не раскрыты.

101июль 2026
textvideootherhugging-face
interlive
ReFoCUS-1.3B

ReFoCUS-1.3B — разработанная исследователями KAIST и UIUC модель выбора кадров для анализа длинных видео. Она получает видео и вопрос, а затем отбирает кадры, которые могут служить наиболее полезным визуальным контекстом для ответа; выбранные кадры передаются отдельной Video-LLM для генерации ответа. Модель дообучена на базе interlive/video-ma2mba-1.3b и использует архитектуру Mamba-2. В описанном сценарии видео подаётся с частотой 4 кадра в секунду, до 512 кадров, а модель выбирает 32 кадра без повторений и упорядочивает их по времени. Обучение с подкреплением использует оценки замороженной Video-LLM и не требует разметки кадров. Лицензия — Apache-2.0. ReFoCUS предназначена для конвейеров вопросно-ответного анализа видео и сама не формирует итоговый текстовый ответ: для этого нужна downstream Video-LLM. Приведённые в карточке результаты относятся к указанным бенчмаркам и конфигурациям; качество зависит от модели, которой передаются выбранные кадры.

120июль 2026
videoapache-2.0hugging-face
rsoohyun
SpatialBlock-3B-direct

SpatialBlock-3B-direct — мультимодальная модель на архитектуре Qwen2.5-VL, разработанная авторами работы SpatialBlock и дообученная на синтетическом наборе SpatialBlock-15k. Она принимает изображения и текстовые запросы и напрямую предсказывает ответы на задачи пространственного рассуждения: проекцию 3D-сцен в 2D, преобразование точки зрения и комбинирование структур из блоков. Модель содержит 3,1 млрд параметров, использует Qwen2.5-VL-3B-Instruct как базовую модель и поддерживает контекст до 128 000 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка описывает обучение и примеры задач, но подробные результаты оценки и характеристики модели-партнёра приведены во внешней статье и репозитории.

1012сент. 2026ctx128K
textimageapache-2.0hugging-face
DAMO-NLP-SG
VideoLLaMA2-7B

VideoLLaMA2-7B — мультимодальная чат-модель для анализа видео, разработанная командой DAMO-NLP-SG. Визуальный энкодер CLIP ViT-L/14 с разрешением 336 пикселей обрабатывает видеокадры, а языковой декодер Mistral-7B-Instruct-v0.2 формирует текстовые ответы. Этот чекпойнт использует 8 кадров и содержит около 7,1 млрд параметров; заявленный контекст — 32 768 токенов. Модель предназначена для вопросов и ответов о содержании видео и пространственно-временных событиях, а также для диалогового анализа визуальных данных. В карточке также заявлена работа с аудио в видео, но сведения о входном аудиоформате и подробные ограничения этой возможности не приведены. Модель распространяется по лицензии Apache-2.0.

35540июнь 2024ctx32.8K
textapache-2.0hugging-face
IVGSZ
Flash-VStream-7b

Flash-VStream — видеоязыковая модель семейства VStream, разработанная для понимания видеопотоков и ответов на вопросы о них. Она моделирует механизм памяти и предназначена для обработки длинных видеопотоков в реальном времени с одновременным ответом на запросы пользователя. Модель имеет плотную архитектуру VStreamLlamaForCausalLM и содержит 6,6 млрд параметров; нативная длина контекста — 4096 токенов. Она обучалась на изображениях и видео, включая данные LAION/CC/SBU, WebVid и ActivityNet, а также мультимодальные инструкции и вопросы-ответы. В метаданных основная задача указана как text-generation, поэтому для каталога это тег следует считать главным. Модель ориентирована на видеопонимание и диалог по содержимому видео. Доступны веса PyTorch; лицензия указана как llama2. Карточка не приводит результатов оценки качества или подробных условий развёртывания.

9017июнь 2024ctx4.1K
textllama2hugging-face
Vision-CAIR
LongVU_Llama3_2_1B

Vision-CAIR/LongVU_Llama3_2_1B — видеоязыковая модель с архитектурой CambrianLlamaForCausalLM и 1,2 млрд параметров. Репозиторий предоставляет веса в формате PyTorch; модель предназначена для диалога по видео и ответов на вопросы о его содержимом. Заявленная длина контекста — 131 072 токена. Модель можно применять для описания видеосцен и поиска ответов по содержимому видеозаписей. Лицензия — Apache-2.0. Карточка README не содержит дополнительных сведений о языках, обучении или ограничениях качества.

1512окт. 2024ctx131.1K
textapache-2.0hugging-face
CarolVorders
ltxvideo-2b-nsfw

Карточка модели CarolVorders/ltxvideo-2b-nsfw на Hugging Face совпадает с карточкой Muinez/ltxvideo-2b-nsfw, поэтому описание составлено по ней. Muinez/ltxvideo-2b-nsfw — экспериментальное дообучение LTX-Video 0.9.5, созданное автором Muinez на данных с изображениями и видеоклипами. Модель предназначена для генерации видео по исходному изображению; в конце обучения её дополнительно настраивали для image-to-video. Для описаний использовались booru-теги, а обучающая выборка включала реалистичные и аниме-материалы разных авторов. Автор сообщает, что модель быстро генерирует видео и иногда даёт приемлемый результат, но качество нестабильно и в целом уступает более сильным моделям. Обучение проводилось на изображениях и 4,7 тыс. видеоклипах; максимальная длина клипов составляла 121 кадр, разрешения изображений — от 512×768 до 768×512. По карточке Hugging Face модель использует Diffusers и сохранена в формате safetensors; размер параметров и длина контекста не указаны. Модель помечена как предназначенная для взрослой аудитории. Условия лицензии в предоставленных данных не указаны.

1471авг. 2026
textimagevideohugging-face
ddz16
Qwen3-VL-4B-ArrowRL

Qwen3-VL-4B-ArrowRL — видеоязыковая модель на базе Qwen3-VL-4B, дообученная методом ArrowRL. Чекпойнт выпущен как базовый вариант для исследования CRPO о восприятии пространственно-временной динамики в видео с помощью контрфактического обучения с подкреплением. Модель предназначена для ответов на вопросы о видео с учётом изменений во времени, например направления движения, обратимой динамики и последовательности событий. Её оценивали на DyBench, а также на наборах Video-MME, TempCompass, MVBench и TimeBlind. В репозитории указаны веса в формате safetensors и библиотека Transformers. Лицензия в предоставленных данных не указана.

140июль 2026ctx262.1K
textvideohugging-face
DAMO-NLP-SG
VideoLLaMA2-72B

VideoLLaMA2-72B — мультимодальная языковая модель для диалога о видео из семейства VideoLLaMA 2, разработанного DAMO-NLP-SG. Она предназначена для ответов на вопросы о содержании видео и его пространственно-временных событиях; в карточке также заявлена поддержка генерации текста. Модель имеет плотную архитектуру на основе Qwen2 с 71,5 млрд параметров и поддерживает контекст до 32 768 токенов. Метаданные указывают английский язык. README описывает VideoLLaMA 2 и перечисляет видеомодели с визуальным энкодером CLIP, но не приводит отдельные технические детали именно версии 72B. Модель подходит для анализа видеосцен и диалоговых сценариев, где нужно сформулировать текстовый ответ по визуальному содержанию. Репозиторий распространяется по лицензии Apache-2.0. В доступной карточке не приведены отдельные результаты оценки качества или рекомендации по ограничениям применения.

3210авг. 2024ctx32.8K
textapache-2.0hugging-face
alibaba-pai
Wan2.2-Fun-Reward-LoRAs

Wan2.2-Fun-Reward-LoRAs — набор обученных LoRA-адаптеров от Alibaba PAI для улучшения видео, создаваемых моделью Wan2.2-Fun, с помощью оптимизации по оценкам предпочтений. Адаптеры предназначены для соответствующих высоко- и низкошумовых вариантов Wan2.2-Fun-A14B-InP; в карточке указаны варианты, обученные с HPS v2.1 и MPS. README описывает Reward Backpropagation и параметры адаптеров rank=128, network_alpha=64. Адаптеры подключаются к базовой модели при генерации видео по текстовому описанию. Для низкошумовой модели авторы рекомендуют HPS v2.1: вариант MPS может сходиться медленно и давать неудовлетворительные результаты. Лицензия репозитория — Apache-2.0. При оптимизации оценка вознаграждения может расти без дальнейшего улучшения видео, а адаптер может выучить обходные признаки, например добавлять артефакты на фон. Использование моделей предпочтений для изображений не учитывает временные свойства видео и может снижать динамичность. Для работы требуется совместимая базовая модель Wan2.2-Fun; это LoRA-адаптеры, а не самостоятельная модель генерации.

21K77сент. 2025
textvideoapache-2.0hugging-face
DuoNeural
Cosmos3-Nano-Abliterated

Cosmos3-Nano-Abliterated — видеогенеративная модель DuoNeural Research Lab, полученная дообучением NVIDIA/Cosmos3-Nano методом удаления направления отказов (abliteration). Модель основана на архитектуре Mixture-of-Transformers и предназначена для генерации видео по текстовому описанию; обработка промптов выполняется авторегрессионным потоком понимания, который взаимодействует с потоком генерации видеокадров. Вариант Nano поддерживает генерацию видео, но не предсказание действий робота. По данным карточки, изменены веса поздних слоёв потока понимания. В испытаниях модель создавала видеокадры для всех проверенных запросов; качество обычных сцен, по сообщению авторов, сохранялось, а для откровенных или потенциально вредоносных запросов заметно снижалась точность и детализация генерации. Это ранняя экспериментальная модификация, а полноценная оценка качества видеогенерации не приведена. Модель распространяется под лицензией `other`; конкретные условия лицензии в предоставленных сведениях не раскрыты.

368июнь 2026
textvideootherhugging-face

Задачи профессии

18 задач
154Генерация видеосцены по текстовому описанию или раскадровке. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Рабочие входы: видеоряд, движение, текстовые сценарии, видеозаписи и кадры. Формат результата: редактируемый артефакт по задаче «Генерация видеосцены по текстовому описанию или раскадровке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
155Продолжение, расширение или изменение существующего видеоклипа. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Входной контекст включает видеоряд, текстовые сценарии, видеозаписи, кадры и раскадровки. Формат результата: редактируемый артефакт по задаче «Продолжение, расширение или изменение существующего видеоклипа», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
156Автоматический монтаж по сценарию, темпу или смысловым событиям. — Механизм: AI обрабатывает исходные данные по формализованным правилам и обученным закономерностям, чтобы получить проверяемый результат. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, видеозаписи, кадры, раскадровки и трёхмерные модели. Формат результата: конкретный результат по задаче «Автоматический монтаж по сценарию, темпу или смысловым событиям» с исходными данными, промежуточными основаниями и возможностью проверки. Проверка: сверкой с эталонными случаями, воспроизводимостью и экспертной проверкой результата; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
157Поиск и нарезка ключевых моментов в длинной записи. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся кадры, раскадровки, трёхмерные модели и движение. Формат результата: ранжированный список кандидатов по задаче «Поиск и нарезка ключевых моментов в длинной записи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
158Стабилизация, повышение частоты кадров и разрешения видео. — Для этой задачи система замыкает контур управления: наблюдает результат предыдущего действия и адаптирует следующий управляющий шаг. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Рабочие входы: видеоряд, раскадровки, трёхмерные модели, движение и текстовые сценарии. Формат результата: управляющее решение для «Стабилизация, повышение частоты кадров и разрешения видео» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Критерии приёмки: в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
159Удаление или замена объектов и фона в видео. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Входной контекст включает видеоряд, трёхмерные модели, движение, текстовые сценарии и видеозаписи. Формат результата: преобразованный материал по задаче «Удаление или замена объектов и фона в видео» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
160Автоматическая цветокоррекция и согласование кадров. — Механизм: AI сочетает предметные правила с анализом данных и формирует результат, который можно проследить до исходных фактов. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Исходные данные: видеоряд, движение, текстовые сценарии, видеозаписи и кадры. Формат результата: конкретный результат по задаче «Автоматическая цветокоррекция и согласование кадров» с исходными данными, промежуточными основаниями и возможностью проверки. Проверка: сверкой с эталонными случаями, воспроизводимостью и экспертной проверкой результата; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
161Синхронизация движения губ с новой речевой дорожкой. — AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. К исходным данным относятся текстовые сценарии, видеозаписи, кадры и раскадровки. Формат результата: преобразованный материал по задаче «Синхронизация движения губ с новой речевой дорожкой» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
162Создание дубляжа с сохранением временной структуры сцены. — Для этой задачи система создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Рабочие входы: речевая дорожка, видеозаписи, кадры, раскадровки и трёхмерные модели. Формат результата: редактируемый артефакт по задаче «Создание дубляжа с сохранением временной структуры сцены», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
163Генерация субтитров и их временная синхронизация. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Входной контекст включает речевая дорожка, кадры, раскадровки, трёхмерные модели и движение. Формат результата: редактируемый артефакт по задаче «Генерация субтитров и их временная синхронизация», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
164Преобразование видео в анимацию или иной визуальный стиль. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Исходные данные: видеоряд, раскадровки, трёхмерные модели, движение и текстовые сценарии. Формат результата: преобразованный материал по задаче «Преобразование видео в анимацию или иной визуальный стиль» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
165Генерация движения персонажа по тексту, видео или захвату позы. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. К исходным данным относятся видеоряд, трёхмерные модели, движение, текстовые сценарии и видеозаписи. Формат результата: редактируемый артефакт по задаче «Генерация движения персонажа по тексту, видео или захвату позы», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
166Создание раскадровки и превизуализации. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Рабочие входы: видеоряд, движение, текстовые сценарии, видеозаписи и кадры. Формат результата: редактируемый артефакт по задаче «Создание раскадровки и превизуализации», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
167Генерация трёхмерной модели по тексту или эскизу. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Входной контекст включает текстовые сценарии, видеозаписи, кадры и раскадровки. Формат результата: редактируемый артефакт по задаче «Генерация трёхмерной модели по тексту или эскизу», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
168Генерация текстур, материалов и окружения для 3D-сцены. — Механизм: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: восстанавливает глубину, форму и топологию, затем согласует геометрию между ракурсами. Исходные данные: изображения с разных ракурсов, видеозаписи, кадры, раскадровки и трёхмерные модели. Формат результата: редактируемый артефакт по задаче «Генерация текстур, материалов и окружения для 3D-сцены», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
169Автоматическая ретопология, развёртка UV и упрощение 3D-модели. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: восстанавливает глубину, форму и топологию, затем согласует геометрию между ракурсами. К исходным данным относятся изображения с разных ракурсов, кадры, раскадровки, трёхмерные модели и движение. Формат результата: преобразованный материал по задаче «Автоматическая ретопология, развёртка UV и упрощение 3D-модели» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
170Создание цифрового аватара с заданной мимикой и жестами. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Рабочие входы: раскадровки, трёхмерные модели, движение и текстовые сценарии. Формат результата: редактируемый артефакт по задаче «Создание цифрового аватара с заданной мимикой и жестами», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
171Преобразование двухмерного контента в пространственную сцену. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Входной контекст включает трёхмерные модели, движение, текстовые сценарии и видеозаписи. Формат результата: преобразованный материал по задаче «Преобразование двухмерного контента в пространственную сцену» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию. <a id="section-i-11"></a>

0 моделей