/ Профессии
Универсальные способности и операции

I.10Видео, анимация и 3D

В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ВидеоТекст
AI-задач
18
в этой профессии
Подходящих моделей
3 279
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ВидеоТекст

Рекомендованные модели

3 279 моделей
Загрузки
Лайки
Дата выхода
601–630 из 3 279
tuwonga
supermarionation

tuwonga/supermarionation — дообученная модель Stable Diffusion v1.5, созданная на скриншотах из кукольной анимации Джерри Андерсона, в частности сериала «Тандербёрды». Она генерирует изображения в стиле Supermarionation; для вызова стиля в запросе используется слово «supermarionation». Версия v2 обучена также на персонажах и транспортных средствах: в описании указаны 47 изображений и 9400 шагов обучения. Версия v1 обучалась методом DreamBooth на 43 изображениях с помощью TheLastBen. Модель предназначена для генерации персонажей и техники в заданном стиле, а также для преобразования изображений через img2img. В README приведены примеры настроек генерации, включая Euler и CFG 7.5, но результат зависит от запроса и параметров. Модель работает с текстовыми запросами и выдаёт изображения; указанная лицензия — CreativeML OpenRAIL-M.

18039нояб. 2022
textimagecreativeml-openrai…hugging-face
TIGER-Lab
Vamba-Qwen2-VL-7B

Vamba-Qwen2-VL-7B — гибридная модель для понимания видео, представленная в репозитории TIGER-Lab. Она сочетает Mamba-2 блоки для обработки видеотокенов и трансформерные механизмы внимания: самовнимание применяется к текстовым токенам, а текстовые запросы обращаются к видеотокенам через cross-attention. Такой подход предназначен для снижения вычислительной сложности при анализе длинных видео, включая ролики длительностью до часа. Модель содержит 7,1 млрд параметров, построена на архитектуре Qwen2-VL и поддерживает контекст длиной 32 768 токенов. Она принимает видео и текстовые запросы и формирует текстовые ответы, например описание событий или ответы на вопросы о содержимом ролика. В метаданных указаны библиотека Transformers и формат safetensors. Лицензия — MIT.

6721март 2025ctx32.8K
textvideomithugging-face
OpenGVLab
VideoChat-R1_7B_caption

VideoChat-R1_7B_caption — мультимодальная модель OpenGVLab для диалога и генерации текстовых описаний видео. Она дообучена на базе Qwen/Qwen2-VL-7B-Instruct и использует архитектуру Qwen2-VL с 7,1 млрд параметров. Модель рассчитана на сценарии, где по входному видео нужно получить текстовый ответ или описание; карточка указывает поддержку английского языка и контекст до 32 768 токенов. Модель работает через Transformers и распространяется в формате safetensors. Лицензия — Apache-2.0. README не приводит подробностей о данных обучения, качестве на отдельных типах видео или систематических ограничениях; практическую точность следует оценивать на целевых видео и запросах.

666апр. 2025ctx32.8K
textvideoapache-2.0hugging-face
berryber09
10Eros-Max-h3-turbo-hybrid-beta3-w4a8

berryber09/10Eros-Max-h3-turbo-hybrid-beta3-w4a8 — квантизированная версия модели MiniMax-H3 10Eros-Max beta3 TURBO hybrid, подготовленная сообществом для генерации видео по текстовому описанию и использования в ComfyUI. Она основана на bf16-модели TenStrip/10Eros-Max и распространяется в формате W4A8: 200 линейных слоёв квантованы до 4-битных весов и 8-битных активаций, а отдельные слои и нормы оставлены в более высокой точности. Размер составляет около 11,68 ГБ. Для загрузки требуется ComfyUI версии 0.31.0 или новее с нативной поддержкой W4A8 либо соответствующий патч, comfy-kitchen с AsymW4A8Int8Layout и CUDA SM 8.0 или новее. В README сообщается о проверке загрузки в ComfyUI и генерации связного изображения; это не подтверждает качество генерации видео. Модель наследует лицензию исходной модели, указанную как other; условия следует сверять с карточкой TenStrip/10Eros-Max.

3593авг. 2026
textvideootherhugging-face
yaolily
GenS-qwen2d5-vl-3b

GenS (Generative Frame Sampler) — модель Yaolily для выбора кадров из длинных видео по текстовому вопросу. Она дообучена на архитектуре Qwen2.5-VL и предназначена для поиска наиболее релевантных кадров, которые затем можно передать VideoQA-модели для ответа на вопрос о видео. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2.5-VL и работает через Transformers; заявленная длина контекста — 128 000 токенов. GenS принимает видео и текстовый запрос, сопоставляет содержание кадров с вопросом и выдаёт оценки релевантности кадров в JSON. В README заявлена поддержка временных связей и сложных инструкций, а также улучшение результатов нескольких VideoQA-систем на бенчмарках длинных видео. Модель служит этапом отбора кадров, а не самостоятельной системой для развёрнутого ответа на вопросы по видео. В метаданных указана лицензия other; конкретные условия использования следует сверить с лицензией репозитория. Модель опубликована 11 июля 2025 года.

4.9K0июль 2025ctx128K
textvideootherhugging-face
FenomAI
MiniMax-H3_GGUFs

MiniMax-H3 GGUFs — набор квантизированных GGUF-файлов для модели MiniMax-H3, разработанной MiniMax. Репозиторий предназначен для запуска модели в ComfyUI и связан с базовой моделью Comfy-Org/MiniMax-H3. Модель ориентирована на генерацию текста в видео и, судя по структуре комплекта, поддерживает аудио- и видеопотоки. В состав входят GGUF-файлы основного блока MiniMax-H3-FL2VA с различными уровнями квантизации, текстовый энкодер Qwen3-VL 32B в формате GGUF, а также отдельные VAE для аудио и видео. Точные параметры архитектуры, размеры вариантов, поддерживаемые языки и длина контекста в README не указаны. Ключевое преимущество — подготовка компонентов для интеграции с ComfyUI и возможность выбирать вариант квантизации в зависимости от доступных ресурсов. Для работы требуются оба VAE из исходного репозитория Comfy-Org/MiniMax-H3. Ограничения включают отсутствие подробных сведений о производительности, требованиях к оборудованию и совместимости конкретных квантованных вариантов. Лицензия указана как неизвестная; автор README заявляет о наличии отдельного лицензионного соглашения с MiniMax, но его условия в представленных данных не раскрыты.

1.5K5авг. 2026
textvideounknownhugging-face
maxLWSv2
MotionAtlas-4B

MotionAtlas-4B — модель для понимания видео с фокусом на движении, представленная в работе MotionAtlas: Detailed Region Captioning for Motion-Centric Videos. Она формирует подробные текстовые описания движения в указанных областях видео, переходя от общих описаний ролика к анализу движения в конкретных регионах. Модель основана на плотной мультимодальной архитектуре Qwen3-VL и использует интерфейс диалога с визуальным вводом. MotionAtlas-4B предназначена для описания движения в выбранных областях видео и анализа видеороликов с учётом заданных регионов. Репозиторий содержит веса safetensors; заявленная задача Hugging Face — image-text-to-text. Модель лицензирована по Fair Noncommercial Research License, поэтому её использование ограничено условиями этой лицензии. Подробности запуска приведены во внешнем GitHub-репозитории и на странице проекта.

682июнь 2026ctx262.1K
textimagefair-noncommercial…hugging-face
smdesai
SmolVLM2-2.2B-Instruct-4bit

smdesai/SmolVLM2-2.2B-Instruct-4bit — мультимодальная модель SmolVLM, преобразованная в формат MLX из HuggingFaceTB/SmolVLM2-2.2B-Instruct с помощью mlx-vlm 0.1.14. Она предназначена для диалогового анализа видео и ответов на вопросы о его содержимом; метаданные также указывают поддержку задачи video-text-to-text и обучение на наборах данных для видео и визуально-языковых инструкций. Модель принимает визуальные данные и текстовые запросы и генерирует текстовые ответы. В README указано использование через mlx-vlm; репозиторий содержит веса safetensors. Лицензия — Apache-2.0. Точная разрядность и размер модели в предоставленных данных не подтверждены, несмотря на суффикс «4bit» в названии. Подробности о качестве и ограничениях следует сверять с карточкой исходной модели.

1991февр. 2025ctx16.4K
textvideoapache-2.0hugging-face
TencentARC
TimeLens-7B

TimeLens-7B — мультимодальная модель TencentARC для временной привязки событий в видео. Она дообучена на основе Qwen/Qwen2.5-VL-7B-Instruct с использованием обучения с проверяемыми наградами (RLVR), специальной стратегии кодирования временных меток и набора данных TimeLens-100K. Модель предназначена для понимания видео и определения временных интервалов, соответствующих запросу пользователя. Её можно применять для поиска конкретных событий в видеозаписях и указания времени их появления. Архитектура — плотная Qwen2.5-VL для условной генерации; модель содержит 7,1 млрд параметров и поддерживает контекст до 128 000 токенов. В карточке указана лицензия other; конкретные условия использования по этим данным определить нельзя. Модель основана на Qwen2.5-VL-7B-Instruct и обучена для временной привязки видео, поэтому её пригодность для других задач визуального анализа не подтверждена.

72010дек. 2025ctx128K
textvideootherhugging-face
Video-Reason
VBVR-Pro-Wan2.1-I2V-14B

VBVR-Pro-Wan2.1-I2V-14B — модель генерации видео по изображению и текстовому запросу, разработанная авторами проекта VBVR-Pro. Она основана на Wan2.1-I2V-14B-720P и дообучена на задачах набора VBVR-Pro для изучения визуального рассуждения через генерацию; архитектурных изменений не вносили. Модель предназначена для экспериментов с визуальными задачами, в которых нужно создавать видео с согласованными изменениями состояния во времени. Модель использует конвейер WanImageToVideoPipeline в Diffusers и распространяется в форматах Diffusers и safetensors. Авторы представляют её как часть исследовательского набора VBVR-Pro, включающего процедурно созданные задачи и проверяемые оценщики. Базовая модель предназначена для создания видео до 720p по исходному изображению и текстовому запросу. Репозиторий распространяется по лицензии Apache-2.0.

121авг. 2026
textimagevideoapache-2.0hugging-face
DAMO-NLP-SG
VideoRefer-7B

VideoRefer-7B — мультимодальная модель DAMO-NLP-SG для понимания пространственно-временных характеристик объектов в видео. В архитектуре dense объединены визуальный энкодер SigLIP SO400M patch14-384 и языковой декодер Qwen2-7B-Instruct; модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалоговых вопросов о видео, в том числе для определения объектов и их поведения во времени. В обучении использовалось 16 кадров. В метаданных указаны задачи text-generation и visual-question-answering, причём основная задача автора — visual-question-answering. Модель распространяется в формате safetensors по лицензии Apache-2.0.

415дек. 2024ctx32.8K
textapache-2.0hugging-face
lmms-lab
LongVA-7B

LongVA-7B — мультимодальная чат-модель, разработанная командой lmms-lab. Она переносит способность работать с длинным контекстом из языковых моделей на визуальные входы и предназначена для анализа длинных видео и последовательностей кадров. По данным карточки, модель может обрабатывать до 2000 кадров или более 200 тысяч визуальных токенов; авторы сообщают о лучших результатах среди моделей на 7B параметров на Video-MME. Модель имеет плотную архитектуру на основе Qwen2 с классом LlavaQwenForCausalLM и содержит 7,1 млрд параметров. Метаданные указывают контекст до 224 тысяч токенов и формат весов safetensors. Указанная задача Hugging Face — text-generation; для визуального анализа модель принимает изображения или кадры видео и выдаёт текстовые ответы. Языковая поддержка в предоставленных данных не описана. Карточка не сообщает лицензию, поэтому условия использования по ней определить нельзя. Утверждение о качестве ограничено сравнением с моделями на 7B параметров в Video-MME; других оценок и ограничений не приведено.

69515июнь 2024ctx224K
texthugging-face
masafy
minimax-h3-masafy-lora

masafy/minimax-h3-masafy-lora — это адаптер LoRA для MiniMax H3, разработанный Masato Suzuki. Он предназначен для генерации видео с оригинальным персонажем Masafy — антропоморфной красной пандой — в авторском стиле. Адаптер обучен для варианта Ref2VA и применяется при инференсе с моделью MiniMax H3, мультимодальной моделью примерно на 33 млрд параметров, способной совместно генерировать видео и аудио. Триггерное слово адаптера — masafy_character. Модель рассчитана на сценарии image-to-video и использование в ComfyUI с базовой моделью MiniMax H3 Ref2VA. Рекомендуется чекпоинт на 500 шагах с силой 0,8. Адаптер в первую очередь меняет визуальный стиль: вместо фотореалистичной шерсти он придаёт изображению плоский cel-иллюстративный вид. Для корректного результата необходимо указывать триггер вместе с описанием внешности персонажа; одного триггера недостаточно. Адаптер также может изменять фон, поскольку при обучении описывались целые изображения. Для инференса требуется около 9,3 ГБ видеопамяти; генерация пятиминутного? ролика длительностью 5 секунд в разрешении 864×480 на RTX 3060 занимает примерно 13 минут. Базовая модель в репозитории не распространяется. Адаптер совместим с GGUF Q3_K_M и был проверен на 208 из 208 модулей без несовпадений ключей. Ограничения включают возможное ухудшение структурной точности при увеличении силы адаптера, появление тёмного контура при чрезмерной силе и зависимость результата от описания внешности. Использование регулируется MiniMax H3 Community License Agreement; коммерческое применение разрешено при указании атрибуции «MiniMax H3», при этом действуют территориальные условия лицензии. Персонаж Masafy является оригинальной работой автора, которого также следует указывать при использовании.

7031авг. 2026
textimagevideootherhugging-face
pytraveler
MiniMax-H3-Prompt-Rewriter-LoRA-8B-GGUF

MiniMax-H3-Prompt-Rewriter-LoRA-8B-GGUF — это конвертированный в формат GGUF LoRA-адаптер, разработанный pytraveler на основе адаптера lightx2v/MiniMax-H3-Prompt-Rewriter-LoRA-8B. Адаптер предназначен для работы с мультимодальной базовой моделью Qwen3-VL-8B-Instruct через llama.cpp и не содержит новых этапов обучения: значения тензоров сохранены, изменён только формат представления. Модель ориентирована на переписывание промптов для генерации аудио и видео в сценариях T2AV, I2AV, L2AV и FL2AV — от текста, одного изображения в качестве первого или последнего кадра либо двух изображений, задающих начало и конец последовательности. Адаптер имеет размерность 8B, использует LoRA-слои ранга 256 и затрагивает текстовую часть модели; vision tower остаётся неизменённой. Доступны варианты F16 размером около 1,30 ГБ и Q8_0 размером около 0,69 ГБ. Для задач с изображениями необходимы базовая Qwen3-VL-8B-Instruct в формате GGUF и совместимый мультимодальный projector; заявлены варианты с потреблением примерно 9–13 ГБ VRAM в зависимости от квантования базовой модели. Указан английский язык. Сильные стороны — поддержка изображений, четыре специализированных режима и совместимость с llama.cpp и ComfyUI. Ограничения — необходимость точно соблюдать исходный системный промпт и формат входа, отсутствие варианта Q4_K_M, а также возможные ошибки в форматировании временных меток и атрибуции кадров. Лицензия в README не указана.

1.4K3авг. 2026
textimagehugging-face
bartowski
OraRL_Video-ORA-9B-GGUF

Video-ORA-9B-GGUF — это квантизированная GGUF-версия мультимодальной модели Video-ORA-9B, разработанной командой OraRL и подготовленной пользователем bartowski с применением llama.cpp. Модель содержит около 9 млрд параметров и предназначена для работы с визуальной информацией и текстом; для обработки изображений требуется отдельный файл mmproj. В карточке также заявлена поддержка сценариев, связанных с видео, включая временную привязку событий, отслеживание объектов, сегментацию видео, визуальные вопросы и пространственное рассуждение. Модель ориентирована на анализ визуального содержимого, ответы на вопросы по изображениям и видео, а также задачи, где требуется учитывать пространственные и временные взаимосвязи. Доступны варианты от BF16 до различных уровней квантизации GGUF; рекомендуемым компромиссом между размером и качеством указан вариант Q4_K_M размером около 5,91 ГБ, а варианты Q5 и Q6 обеспечивают более высокое качество при большем потреблении памяти. Спекулятивное декодирование не поддерживается, при этом для квантизации использовалась imatrix. README не содержит сведений о поддерживаемых языках, размере контекстного окна, точной архитектуре или результатах бенчмарков. Указана лицензия Apache-2.0. Качество и требования к ресурсам зависят от выбранного уровня квантизации; более компактные варианты экономят память, но могут заметно уступать по качеству более точным версиям.

1.8K1авг. 2026
textimageapache-2.0hugging-face
vdo
stable-video-diffusion-img2vid-xt-1-1

Stable Video Diffusion 1.1 Image-to-Video — диффузионная модель Stability AI для создания коротких видеоклипов по одному изображению. Это латентная диффузионная модель, дообученная на базе Stable Video Diffusion Image-to-Video для 25 кадров. Она генерирует до 25 кадров с разрешением 1024×576; обучение с фиксированными настройками на 6 кадрах в секунду и Motion Bucket ID 127 повышает согласованность результата. Эти параметры можно менять, но качество за пределами фиксированных настроек может отличаться от SVD 1.0. Модель предназначена для экспериментов с генеративными моделями, создания художественных материалов, дизайна и творческих или образовательных инструментов. Она принимает изображение и выдаёт видео; управление текстовыми запросами не поддерживается. Видеоролики короткие — до четырёх секунд; возможны отсутствие движения или медленные панорамы, несовершенная фотореалистичность и ошибки в изображении лиц и людей. Модель не умеет создавать читаемый текст и не предназначена для достоверного изображения людей или событий. Лицензия указана как other; README рекомендует использовать модель только в исследовательских целях и соблюдать Acceptable Use Policy Stability AI.

8.3K31февр. 2024
textimagevideootherhugging-face
kpyu
video-blip-opt-2.7b-ego4d

VideoBLIP-OPT-2.7B-Ego4D — видеомодель на основе BLIP-2 с языковой моделью OPT-2.7B, дообученная на Ego4D. Она предназначена для создания текстовых описаний видео и визуальных вопросов и ответов по видеоматериалам. В метаданных указана архитектура VideoBlipForConditionalGeneration и формат PyTorch; карточка отмечает поддержку английского языка. Лицензия — MIT. Модель связывает визуальную обработку видео с генерацией текста и может применяться для анализа видеосцен и подготовки подписей к роликам. Она унаследовала от OPT риски предвзятости, галлюцинаций и ограниченного разнообразия генерации. В README указано, что модель не проверялась в реальных приложениях и перед практическим использованием требует оценки безопасности и справедливости.

19220май 2023
textimagemithugging-face
lmms-lab
LLaVA-Video-7B-Qwen2

LLaVA-Video-7B-Qwen2 — мультимодальная модель семейства LLaVA от LMMS-Lab для диалога и ответов на вопросы по видео. Она принимает видео, а также изображения и последовательности изображений, и формирует текстовые ответы; модель ориентирована прежде всего на сценарии с видео. Модель содержит 7,1 млрд параметров и объединяет визуальный энкодер SO400M с языковой моделью Qwen2. Она дообучена на базе lmms-lab/llava-onevision-qwen2-7b-si на наборах LLaVA-Video-178K и LLaVA-OneVision-Data. Контекст составляет 32 768 токенов; модель поддерживает видео длительностью до 64 кадров. В карточке указаны английский и китайский языки. Модель подходит для диалога о содержимом видео, описания сцен и ответов на вопросы по визуальным материалам. Качество зависит от кадров и данных обучения; ограничение в 64 кадра может затруднить анализ длинных видео или быстрых событий. Весы опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия Apache-2.0.

12K127сент. 2024ctx32.8K
textapache-2.0hugging-face
microsoft
Mage-VL

Mage-VL — мультимодальная модель Microsoft для понимания изображений и видео, включая потоковое восприятие в реальном времени. Она объединяет визуальный кодировщик Mage-ViT, обученный с нуля, и языковую модель Qwen3-4B-Instruct-2507 с двухслойным MLP-проектором; заявленный размер визуальной системы — 4 млрд параметров. Кодировщик использует структуру видеокодеков: сохраняет патчи опорных кадров и выбирает значимые патчи предсказанных кадров, сокращая число визуальных токенов более чем на 75%. Модель поддерживает изображения, видео разной длительности и потоковую обработку; для видеопотока предусмотрен механизм, который вызывает полную модель при появлении значимого события. Модель предназначена для вопросов по изображениям и видео, временной локализации событий, пространственного анализа и потоковых комментариев. В README заявлены ускорение вывода до 3,5 раза относительно равномерной выборки кадров и конкурентные результаты на задачах понимания видео и пространственного анализа. Для запуска приведён пример через Transformers. Лицензия — Apache-2.0.

9.7K430июль 2026ctx131.1K
textimageapache-2.0hugging-face
flower45670
text-to-video-ms-1.7b

Карточка модели flower45670/text-to-video-ms-1.7b на Hugging Face совпадает с карточкой ali-vilab/text-to-video-ms-1.7b, поэтому описание составлено по ней. Text-to-video-ms-1.7b — диффузионная модель генерации видео по текстовому описанию, разработанная ModelScope и опубликованная Alibaba. Она принимает описание на английском языке и создаёт соответствующее видео. Модель использует многоэтапную архитектуру из трёх частей: извлечение текстовых признаков, диффузия в латентном пространстве видео и преобразование видео из латентного пространства в визуальное; диффузионная часть построена на UNet3D. Размер модели составляет около 1,7 млрд параметров. Модель предназначена для создания видео по произвольным англоязычным запросам и экспериментов с генерацией видео. В README описана возможность генерации роликов продолжительностью до 25 секунд при оптимизации использования памяти, однако результат зависит от оборудования и настроек. Модель плохо справляется со сложными композициями, не создаёт чёткий текст в кадре и не обеспечивает кинематографическое качество. Она обучалась на публичных наборах данных, включая WebVid, LAION5B и ImageNet, поэтому результаты могут отражать их смещения. В README указана лицензия CC-BY-NC-ND, тогда как метаданные Hugging Face указывают CC-BY-NC-4.0; условия лицензирования в источниках расходятся. Перед использованием следует свериться с актуальной лицензией репозитория. В README также запрещена генерация порнографического, насильственного и кровавого контента, а также унижающего или вредоносного контента.

60авг. 2026
textvideocc-by-nc-4.0hugging-face
llyim
VideoChat-Flash-Qwen2-7B_res448

Карточка модели llyim/VideoChat-Flash-Qwen2-7B_res448 на Hugging Face совпадает с карточкой OpenGVLab/VideoChat-Flash-Qwen2-7B_res448, поэтому описание составлено по ней. VideoChat-Flash-Qwen2-7B_res448 — видеоязыковая модель OpenGVLab на базе Qwen2-7B и UMT-L. Она анализирует видео и отвечает на вопросы о его содержании в формате диалога. Модель использует 16 токенов на кадр; заявленная версия поддерживает последовательности примерно до 10 000 кадров. В README указано расширение контекста до 128 тыс. токенов с помощью YaRN, тогда как метаданные указывают native context в 32 768 токенов. В карточке приведены результаты на MVBench, LongVideoBench и VideoMME. Обучающий корпус преимущественно англоязычный: английский рекомендуется для взаимодействия, а понимание китайского описано как базовое. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0.

120июль 2026ctx32.8K
textapache-2.0hugging-face
OpenGVLab
VideoChat-Flash-Qwen2-7B_res448

VideoChat-Flash-Qwen2-7B_res448 — видеоязыковая модель OpenGVLab на базе Qwen2-7B и UMT-L. Она анализирует видео и отвечает на вопросы о его содержании в формате диалога. Модель использует 16 токенов на кадр; заявленная версия поддерживает последовательности примерно до 10 000 кадров. В README указано расширение контекста до 128 тыс. токенов с помощью YaRN, тогда как метаданные указывают native context в 32 768 токенов. В карточке приведены результаты на MVBench, LongVideoBench и VideoMME. Обучающий корпус преимущественно англоязычный: английский рекомендуется для взаимодействия, а понимание китайского описано как базовое. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0.

3.2K13янв. 2025ctx32.8K
textapache-2.0hugging-face
lmms-lab
LLaVA-NeXT-Video-7B

LLaVA-NeXT-Video-7B — открытый мультимодальный чат-бот, разработанный LLaVA Lab и дообученный на базе языковой модели Vicuna 7B v1.5. Это плотная модель семейства LLaVA с архитектурой LlavaLlamaForCausalLM и 6,6 млрд параметров; репозиторий содержит веса Safetensors. Модель принимает текстовые инструкции вместе с видео и формирует текстовые ответы. В карточке указано окно контекста 4096 токенов. Модель предназначена для диалога о видео, ответов на вопросы о его содержании и описания видеосцен. В обучении использованы данные VideoChatGPT-Instruct, а также наборы изображений и мультимодальных инструкций. Разработчики позиционируют её прежде всего для исследований в области компьютерного зрения и мультимодальных чат-ботов. Лицензия — Llama 2 Community License; условия лицензии следует учитывать при использовании и распространении модели.

13752апр. 2024ctx4.1K
textllama2hugging-face
harryhsing
OmniAgent-RL-7B

OmniAgent-RL-7B — агентная мультимодальная модель для понимания видео, разработанная авторами OmniAgent. Она построена на архитектуре Qwen2.5-Omni-7B и дообучена в два этапа: Agentic SFT, затем Agentic RL с TAURA. Модель использует цикл «наблюдение — мысль — действие»: по мере необходимости запрашивает кадры, аудио или видеоклипы, формирует текстовую память и отвечает на вопрос, когда собрала достаточно данных. Модель предназначена для видеоаналитики, включая вопросы о содержании и временной последовательности событий, а также анализ аудиовизуальных роликов. В README сообщается о результатах на десяти бенчмарках и сокращении числа используемых кадров; фактическое качество зависит от задачи и среды запуска. Для активного восприятия её нужно запускать в OTA-среде из репозитория проекта: обычный вызов через Transformers не воспроизводит агентный цикл. Последовательные запросы к медиа увеличивают задержку вывода. Лицензия — Apache-2.0.

631июнь 2026ctx32.8K
textvideoapache-2.0hugging-face
SexGod1979
PinkCherry-NSFW_MiniMax-H3

PinkCherry-NSFW_MiniMax-H3 — модель генерации видео по текстовому описанию, созданная как NSFW-настройка MiniMax H3. Карточка рекомендует для версии 1.5 стандартный шаблон ComfyUI с планировщиком Euler и режимом simple, а также Lightx2v turbo, совместимый с этой версией. Модель предназначена для генерации видео по текстовым запросам. В метаданных указаны архитектура MiniMaxH3 и формат весов safetensors. Модель распространяется по лицензии Apache-2.0. Карточка предупреждает о контенте для взрослой аудитории; сведений о размере модели, длине контекста и поддерживаемых языках нет.

749460авг. 2026
textvideoapache-2.0hugging-face
ali-vilab
text-to-video-ms-1.7b-legacy

Модель ali-vilab/text-to-video-ms-1.7b-legacy разработана ModelScope и предназначена для генерации видео по текстовому описанию. Это диффузионная модель примерно с 1,7 млрд параметров, состоящая из извлечения текстовых признаков, диффузии в латентном пространстве видео и преобразования латентного представления в визуальное видео. В диффузионной части используется архитектура UNet3D; модель постепенно формирует видео из гауссовского шума. Репозиторий содержит веса в форматах Diffusers, PyTorch и safetensors. Модель принимает текст на английском языке и выдаёт видео; карточка описывает генерацию роликов по произвольным текстовым запросам и оптимизацию, позволяющую создавать видео длительностью до 25 секунд при использовании менее 16 ГБ видеопамяти. Она не создаёт чёткий текст в кадре и испытывает трудности со сложными композиционными запросами; качество не достигает уровня готового кинематографического видео, а результаты могут отражать смещения обучающих данных. Для обучения использовались, в частности, LAION-5B, ImageNet и WebVid. README указывает лицензию CC-BY-NC-ND, тогда как метаданные Hugging Face указывают CC-BY-NC-4.0, поэтому условия лицензирования в источниках расходятся; проверьте лицензию перед использованием.

4315март 2023
textvideocc-by-nc-4.0hugging-face
nyu-visionx
Cambrian-S-7B

Cambrian-S-7B — мультимодальная модель для пространственного анализа видео, разработанная Shusheng Yang, Jihan Yang, Pinzhi Huang, Ellis Brown и соавторами. Она объединяет Qwen2.5-7B-Instruct, визуальный энкодер SigLIP2-SO400M и двухслойный MLP-адаптер; в репозитории указано 7,1 млрд параметров и контекст 32 768 токенов. Модель обучали в четыре этапа: выравнивание изображений, обучение на инструкциях по изображениям и видео, затем обучение пространственным инструкциям на VSI-590K и данных инструкций по видео. Модель предназначена для диалогового анализа визуального содержимого и пространственных отношений в видео, а также справляется с общими задачами понимания видео. Поддерживаемые задачи каталога — генерация текста и преобразование изображения в текст; метаданные указывают английский язык. Модель доступна в формате safetensors для Transformers по лицензии Apache-2.0. Доступные сведения не описывают ограничения точности или условия эксплуатации сверх лицензии.

7565нояб. 2025ctx32.8K
textapache-2.0hugging-face
OpenGVLab
PVC-InternVL2-8B

PVC-InternVL2-8B — мультимодальная модель для понимания изображений и видео, представленная авторами метода Progressive Visual Token Compression (PVC) на основе InternVL2. Она объединяет визуальные входы как последовательности кадров и постепенно сжимает визуальные токены, сохраняя пространственные детали и временную динамику. В README указано сокращение до 64 токенов на кадр видео и на плитку изображения; модель предназначена для диалоговых запросов о визуальном содержимом и заявлена для задач понимания длинных видео, детальных коротких роликов и изображений. Архитектура PVCInternVL объединяет InternViT-300M-448px и InternLM2.5-7B-Chat; репозиторий использует Transformers и формат safetensors. Поддерживается мультиязычное взаимодействие. Метаданные указывают MIT-лицензию. В README приведены сравнительные результаты на видео- и image-бенчмарках, однако в карточке нет подробной информации о контекстном окне и точном перечне поддерживаемых языков.

669дек. 2024ctx8.2K
textmithugging-face
ernie-research
AVIOT

AVIOT — видеоязыковая модель для ответов на вопросы по видео с компрессией визуальных токенов во время инференса. Модель разработана авторами исследования Aggregating Visual Information with Optimal Transport for VideoLM Token Compression; чекпойнт включает языковую модель, визуальный энкодер, мультимодальный проектор и модули AVIOT. В основе языковой части используется архитектура Qwen2, а визуального энкодера — SigLIP. Модель анализирует видео и формирует текстовые ответы на вопросы о его содержании. AVIOT сжимает последовательности визуальных токенов с помощью оптимального транспорта, направляя больше ёмкости на содержание, важное для вопроса, и объединяя информацию из разных временных отрезков. Чекпойнт содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов. По умолчанию обрабатываются кадры с частотой 2 кадра в секунду, максимум 224 кадра размером 384 × 384 пикселя; коэффициент сжатия можно выбирать при инференсе. Для загрузки требуется публичный код AVIOT: стандартная загрузка через AutoModel.from_pretrained() не поддерживается. В README сообщается о результатах на нескольких бенчмарках понимания видео, но конкретные метрики не приведены. Модель выпущена под лицензией Apache-2.0.

200авг. 2026ctx32.8K
textapache-2.0hugging-face
nyu-visionx
Cambrian-S-3B

Cambrian-S-3B — мультимодальная языковая модель пространственного анализа видео, разработанная Shusheng Yang, Jihan Yang, Pinzhi Huang, Ellis Brown и соавторами. Она предназначена прежде всего для ответов на вопросы о пространственных отношениях и событиях в видео, сохраняя возможности общего понимания видео. Модель построена на Qwen2.5-3B-Instruct с визуальным энкодером SigLIP2-SO400M (SigLIP-384) и двухслойным MLP-адаптером; содержит около 3,1 млрд параметров и поддерживает контекст до 32 768 токенов. Обучение включало этапы согласования изображений, обучения на инструкциях по изображениям и видео, а затем пространственного обучения на VSI-590K и общих данных видеоинструкций. Модель подходит для анализа видеосцен и пространственных рассуждений. Карточка заявляет высокие результаты на визуально-пространственных тестах и конкурентное качество на задачах общего понимания видео. В метаданных указана лицензия Apache-2.0. Язык карточки — английский; других сведений о языковой поддержке нет.

501нояб. 2025ctx32.8K
textapache-2.0hugging-face

Задачи профессии

18 задач
154Генерация видеосцены по текстовому описанию или раскадровке. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Рабочие входы: видеоряд, движение, текстовые сценарии, видеозаписи и кадры. Формат результата: редактируемый артефакт по задаче «Генерация видеосцены по текстовому описанию или раскадровке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
155Продолжение, расширение или изменение существующего видеоклипа. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Входной контекст включает видеоряд, текстовые сценарии, видеозаписи, кадры и раскадровки. Формат результата: редактируемый артефакт по задаче «Продолжение, расширение или изменение существующего видеоклипа», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
156Автоматический монтаж по сценарию, темпу или смысловым событиям. — Механизм: AI обрабатывает исходные данные по формализованным правилам и обученным закономерностям, чтобы получить проверяемый результат. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, видеозаписи, кадры, раскадровки и трёхмерные модели. Формат результата: конкретный результат по задаче «Автоматический монтаж по сценарию, темпу или смысловым событиям» с исходными данными, промежуточными основаниями и возможностью проверки. Проверка: сверкой с эталонными случаями, воспроизводимостью и экспертной проверкой результата; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
157Поиск и нарезка ключевых моментов в длинной записи. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся кадры, раскадровки, трёхмерные модели и движение. Формат результата: ранжированный список кандидатов по задаче «Поиск и нарезка ключевых моментов в длинной записи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
158Стабилизация, повышение частоты кадров и разрешения видео. — Для этой задачи система замыкает контур управления: наблюдает результат предыдущего действия и адаптирует следующий управляющий шаг. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Рабочие входы: видеоряд, раскадровки, трёхмерные модели, движение и текстовые сценарии. Формат результата: управляющее решение для «Стабилизация, повышение частоты кадров и разрешения видео» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Критерии приёмки: в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
159Удаление или замена объектов и фона в видео. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Входной контекст включает видеоряд, трёхмерные модели, движение, текстовые сценарии и видеозаписи. Формат результата: преобразованный материал по задаче «Удаление или замена объектов и фона в видео» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
160Автоматическая цветокоррекция и согласование кадров. — Механизм: AI сочетает предметные правила с анализом данных и формирует результат, который можно проследить до исходных фактов. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Исходные данные: видеоряд, движение, текстовые сценарии, видеозаписи и кадры. Формат результата: конкретный результат по задаче «Автоматическая цветокоррекция и согласование кадров» с исходными данными, промежуточными основаниями и возможностью проверки. Проверка: сверкой с эталонными случаями, воспроизводимостью и экспертной проверкой результата; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
161Синхронизация движения губ с новой речевой дорожкой. — AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. К исходным данным относятся текстовые сценарии, видеозаписи, кадры и раскадровки. Формат результата: преобразованный материал по задаче «Синхронизация движения губ с новой речевой дорожкой» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
162Создание дубляжа с сохранением временной структуры сцены. — Для этой задачи система создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Рабочие входы: речевая дорожка, видеозаписи, кадры, раскадровки и трёхмерные модели. Формат результата: редактируемый артефакт по задаче «Создание дубляжа с сохранением временной структуры сцены», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
163Генерация субтитров и их временная синхронизация. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Входной контекст включает речевая дорожка, кадры, раскадровки, трёхмерные модели и движение. Формат результата: редактируемый артефакт по задаче «Генерация субтитров и их временная синхронизация», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
164Преобразование видео в анимацию или иной визуальный стиль. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Исходные данные: видеоряд, раскадровки, трёхмерные модели, движение и текстовые сценарии. Формат результата: преобразованный материал по задаче «Преобразование видео в анимацию или иной визуальный стиль» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
165Генерация движения персонажа по тексту, видео или захвату позы. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. К исходным данным относятся видеоряд, трёхмерные модели, движение, текстовые сценарии и видеозаписи. Формат результата: редактируемый артефакт по задаче «Генерация движения персонажа по тексту, видео или захвату позы», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
166Создание раскадровки и превизуализации. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Рабочие входы: видеоряд, движение, текстовые сценарии, видеозаписи и кадры. Формат результата: редактируемый артефакт по задаче «Создание раскадровки и превизуализации», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
167Генерация трёхмерной модели по тексту или эскизу. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Входной контекст включает текстовые сценарии, видеозаписи, кадры и раскадровки. Формат результата: редактируемый артефакт по задаче «Генерация трёхмерной модели по тексту или эскизу», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
168Генерация текстур, материалов и окружения для 3D-сцены. — Механизм: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: восстанавливает глубину, форму и топологию, затем согласует геометрию между ракурсами. Исходные данные: изображения с разных ракурсов, видеозаписи, кадры, раскадровки и трёхмерные модели. Формат результата: редактируемый артефакт по задаче «Генерация текстур, материалов и окружения для 3D-сцены», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
169Автоматическая ретопология, развёртка UV и упрощение 3D-модели. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: восстанавливает глубину, форму и топологию, затем согласует геометрию между ракурсами. К исходным данным относятся изображения с разных ракурсов, кадры, раскадровки, трёхмерные модели и движение. Формат результата: преобразованный материал по задаче «Автоматическая ретопология, развёртка UV и упрощение 3D-модели» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
170Создание цифрового аватара с заданной мимикой и жестами. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Рабочие входы: раскадровки, трёхмерные модели, движение и текстовые сценарии. Формат результата: редактируемый артефакт по задаче «Создание цифрового аватара с заданной мимикой и жестами», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
171Преобразование двухмерного контента в пространственную сцену. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Входной контекст включает трёхмерные модели, движение, текстовые сценарии и видеозаписи. Формат результата: преобразованный материал по задаче «Преобразование двухмерного контента в пространственную сцену» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию. <a id="section-i-11"></a>

0 моделей