/ Профессии
Универсальные способности и операции

I.10Видео, анимация и 3D

В разделе собраны самостоятельные задачи, где AI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ВидеоТекст
AI-задач
18
в этой профессии
Подходящих моделей
3 279
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ВидеоТекст

Рекомендованные модели

3 279 моделей
Загрузки
Лайки
Дата выхода
1 771–1 800 из 3 279
drbaph
HiDream-O1-Image-FP8

drbaph/HiDream-O1-Image-FP8 — вариант модели HiDream-O1-Image в смешанной точности FP8, подготовленный для запуска через ComfyUI. В README указано, что исходная модель разработана командой HiDream-ai и использует архитектуру Pixel-level Unified Transformer (UiT) с 9 млрд параметров: она работает с пикселями, текстом и условиями задачи в общем пространстве токенов, без внешнего VAE и отдельных текстовых энкодеров. По метаданным модель связана с архитектурой Qwen3-VL и использует библиотеку Diffusers. Модель предназначена для создания изображений по текстовому описанию, редактирования изображений по инструкциям, персонализации по нескольким референсам и генерации раскадровок. README заявляет генерацию с разрешением до 2048 × 2048, поддержку длинного текста и многоязычного текста на изображениях, а также встроенного агента рассуждения для уточнения компоновки перед генерацией. FP8-вариант хранит веса в формате float8_e4m3fn, сохраняя отдельные чувствительные слои в более высокой точности; в README для него указано около 10 ГБ видеопамяти и небольшое снижение качества относительно вариантов BF16 и FP16. Для работы рекомендуется ComfyUI с пользовательским узлом HiDream_O1-ComfyUI. Модель распространяется по лицензии MIT. Заявления о качестве и сравнении с другими моделями приведены в README как результаты исходной модели; отдельная независимая оценка именно этой FP8-квантизации не описана.

57K11май 2026ctx262.1K
textimagemithugging-face
zer0int
LongCLIP-SAE-ViT-L-14

zer0int выпустил дообученную версию Long-CLIP ViT-L/14 с обучением на основе разреженного автоэнкодера (SAE) и состязательных примеров. Это модель семейства CLIP для сопоставления изображений с текстовыми описаниями и классификации изображений без примеров для заданных классов. Увеличенная длина текстового ввода позволяет лучше работать с длинными описаниями и следовать сложным промптам; автор также рекомендует её для использования с HunyuanVideo через специальный узел ComfyUI. Модель принимает изображения и текстовые описания, кодирует их для сопоставления и выдаёт оценки соответствия. Она рассчитана на сценарии zero-shot-классификации и поиска изображений по тексту, а также может служить текстовым энкодером в генеративных видеопроцессах. Опубликована в формате safetensors. Лицензия в предоставленных данных не указана.

6127дек. 2024ctx248
textimagehugging-face
yijunwang2
krea2-reid

yijunwang2/krea2-reid — адаптер LoRA для Krea 2 Turbo, разработанный автором репозитория. Он предназначен для генерации и редактирования изображений по текстовому запросу с сохранением внешности персонажа по одному RGB-изображению-образцу. Проверены фотореалистичные, иллюстрированные и стилизованные 3D-образы, в том числе при изменении одежды, позы, кадрирования, освещения и фона. Адаптер использует Qwen3-VL для визуального кондиционирования и токены изображения через VAE; для кэширования reference K/V требуется совместимый edit pipeline. Рекомендуемый режим — 8 шагов и guidance scale 0; выходное соотношение сторон может отличаться от образца. Модель построена как LoRA для трансформера с rank/alpha 32/32 и распространяется в форматах ONNX и safetensors. Репозиторий указывает лицензию «other», но конкретные условия в предоставленных данных не раскрыты. Модель лучше сохраняет узнаваемые черты при смене сцены и композиции, однако результат зависит от запроса, seed, кадрирования и сочетания с другими LoRA. Одежда и поза могут переноситься с полноразмерного образца; при сильной смене сцены могут меняться возрастные детали лица, текстура кожи и макияж. Она не гарантирует биометрическое совпадение и не предназначена для распознавания лиц.

2.6K40июль 2026
textimageotherhugging-face
cocktailpeanut
stable-audio-3-small-sfx

Stable Audio 3 Small SFX — модель Stability AI для генерации звуковых эффектов по текстовому описанию. Это дообученная версия базовой модели stabilityai/stable-audio-3-small-sfx-base из семейства Stable Audio 3. Модель использует латентную диффузионную архитектуру на основе трансформера и семантико-акустический автоэнкодер для представления аудио. Она предназначена для генерации звука переменной длительности; семейство также поддерживает редактирование аудио, включая заполнение выбранных фрагментов и продолжение записей. Для текстового управления применяется предварительно обученная T5Gemma. Модель ориентирована на создание звуковых эффектов по англоязычным запросам. В карточке указана генерация за менее чем две секунды на H200 для семейства моделей, однако фактическая скорость зависит от оборудования и параметров генерации. Для коммерческого использования действует Stability AI Community License; текст карточки также указывает, что компонент T5Gemma распространяется на условиях Gemma Terms of Use.

1.2K0май 2026
textaudiootherhugging-face
desert-ant-labs
align

Align — это компактная модельная каскадная система Desert Ant Labs для уточнения временных границ слов в уже распознанной речи. Она принимает моно-аудио и слова с предварительными временными метками от Apple SpeechTranscriber или SpeechAnalyzer и возвращает те же слова с исправленными временами начала и конца; если поправка выглядит небезопасной, сохраняет исходную метку. Система дополняет распознавание и не заменяет его. Каскад состоит из двух небольших этапов. Для устройств Apple используются скомпилированные Core ML-модели в FP16 общим размером около 560 КБ; также доступны LiteRT-модели TFLite для Linux, Windows и Node. README сообщает о поддержке английского, испанского, французского, итальянского, португальского, немецкого, японского, корейского и китайского языков. Модель предназначена для уточнения меток времени в субтитрах, расшифровках и аудио-видео монтаже; заявленное время обработки — несколько миллисекунд на устройстве. В приведённых измерениях Align снижает ошибку временных границ, но результаты сравнивались преимущественно с машинными оценками, а не с полной разметкой человеком. Исправление может ухудшить отдельные границы; особенно слабый случай — произнесённые числа. Для языков вне поддерживаемого набора входные метки передаются без изменений. В метаданных указана лицензия other; конкретные условия лицензии в предоставленных данных не раскрыты.

99112авг. 2026
textaudiootherhugging-face
xinsir
controlnet-union-sdxl-1.0

ControlNet Union SDXL 1.0 — модель, разработанная командой xinsir для управляемой генерации и редактирования изображений на базе Stable Diffusion XL и архитектуры ControlNet. Она предназначена для text-to-image и image-to-image сценариев, в которых нужно задавать структуру, позу, глубину, контуры, линейный рисунок и другие визуальные условия, а также комбинировать несколько условий в одном запросе. В версии ProMax заявлена поддержка более 10 типов управления и пяти расширенных функций редактирования, включая устранение размытия по тайлам, вариативность, тайловое суперразрешение, inpainting и outpainting. Модель использует модифицированную архитектуру оригинального ControlNet с общими параметрами и единым энкодером условий для разных типов входных изображений. По заявлению авторов, она обучалась на более чем 10 миллионах изображений с применением bucket training, многоразмерного обучения, аугментаций и переформулированных описаний. Это позволяет работать с изображениями высокого разрешения и различными соотношениями сторон, поддерживать одновременное использование нескольких условий без заметного увеличения вычислительных затрат и сохранять совместимость с другими SDXL- и LoRA-моделями. Точный размер модели, список поддерживаемых языков, максимальная длина контекста и полный перечень условий в README не указаны. Сильные стороны модели — универсальность, управление композицией и структурой изображения, поддержка объединения нескольких условий, а также применение к задачам детального редактирования и увеличения разрешения. Ограничения связаны с отсутствием в README подробных инструкций по инференсу, точных требований к оборудованию и количественных результатов оценки; заявленные характеристики производительности и качества не подтверждены приведёнными метриками. Модель распространяется по лицензии Apache-2.0.

137K1.9Kиюль 2024
textapache-2.0hugging-face
InstantX
Qwen-Image-ControlNet-Union

Qwen-Image-ControlNet-Union — объединённый ControlNet от InstantX для управления генерацией и редактированием изображений на базе Qwen-Image. Модель принимает изображение с картой управления и текстовое описание, поддерживая четыре типа условий: контуры Canny, мягкие границы, глубину и позу. Она интегрируется с Diffusers и ComfyUI. ControlNet обучен с нуля в течение 50 тысяч шагов на 10 миллионах качественных изображений общего содержания и изображений людей. В архитектуре используются пять двойных блоков из предварительно обученного трансформера; обучение проводилось при разрешении 1328×1328 в BF16. Для управления силой условия предусмотрен параметр controlnet_conditioning_scale. Модель подходит для создания изображений по тексту с сохранением заданных контуров, глубины или позы, а также для редактирования изображений с таким контролем. В README отмечено, что без явного указания текста в промпте некоторые детали, например мелкий текст, могут сохраняться хуже. Лицензия — Apache-2.0.

16K127авг. 2025
textimageapache-2.0hugging-face
xocialize
refcontrol-FLUX.2-klein-4B-pose-lora

RefControl Pose LoRA — FLUX.2-klein-4B — это адаптер LoRA, разработанный xocialize для базовой модели black-forest-labs/FLUX.2-klein-base-4B. Он предназначен для генерации изображения персонажа в новой позе по двум входным изображениям: OpenPose-совместимому скелету с целевой позой и референсному изображению, задающему личность и внешний вид объекта. Для работы используется edit-путь FLUX.2-klein; модель не является отдельным ControlNet, а представляет собой низкоранговый адаптер DiT. Требуется триггерное слово refcontrol и текстовая инструкция «apply pose from image 1 with reference from image 2». Порядок изображений критичен: изображение 1 — скелет, изображение 2 — референс. Адаптер имеет ранг 32, содержит около 88 МБ и 160 тензоров, нацелен на 60 double-блоков и 40 single-блоков архитектуры flux2_klein_4b; заявлена загрузка в форматах bf16 и int4. Поддерживается image-to-image генерация, а базовая модель рассчитана на визуальные данные; отдельные языковые характеристики и максимальный контекст в README не указаны. Модель обучалась на примерно 1800 тройках «скелет, референс, результат», охватывающих около 110 идентичностей и 25 типов активности. Она особенно подходит для переноса позы персонажа, включая стилизованных персонажей, но качество зависит от корректного COCO-18 OpenPose-скелета и чистоты референса: сложный фон может переноситься в результат. Лицензия Apache-2.0; исходные материалы из Wikimedia Commons и Pexels не распространяются вместе с весами и требуют соблюдения условий их лицензий и атрибуции.

1.5K3июль 2026
textimageapache-2.0hugging-face
ByteDance
Sa2VA-26B

Sa2VA-26B — мультимодальная чат-модель ByteDance для понимания изображений и видео. Она сочетает языковую модель с SAM2 и предназначена для ответов на вопросы по визуальному содержимому, понимания визуальных подсказок, локализации объектов и их плотной сегментации на изображениях и в видео. В метаданных указаны архитектура Sa2VAChatModel, плотная структура, формат safetensors и библиотека Transformers; размер версии — 26 млрд параметров. Модель подходит для анализа сцен, диалоговых запросов о содержимом изображений и видео, а также для сегментации объектов по текстовым или визуальным подсказкам. Семейство Sa2VA описано как многоязычное; карточка отмечает сопоставимые с ведущими MLLM результаты на бенчмарках вопросов и ответов и высокие результаты на задачах визуального grounding и сегментации. Репозиторий указывает слияние с OpenGVLab/InternVL2.5-26B. Лицензия — Apache-2.0. Длина контекста и конкретный перечень поддерживаемых языков не приведены в доступных источниках.

16332янв. 2025ctx16.4K
textapache-2.0hugging-face
lllyasviel
sd-controlnet-canny

lllyasviel/sd-controlnet-canny — модель ControlNet, разработанная Lvmin Zhang и Maneesh Agrawala. Это диффузионная модель условной генерации изображений, предназначенная для работы совместно с Stable Diffusion v1.5. Она принимает текстовое описание на английском языке и дополнительное условие в виде карты границ Canny — монохромного изображения с белыми контурами на чёрном фоне — чтобы управлять структурой создаваемого изображения. Модель подходит для сценариев text-to-image и image-to-image, когда важно сохранить композицию, контуры и общую геометрию исходного изображения, одновременно изменяя его содержание или визуальный стиль по текстовому запросу. ControlNet усиливает управляемость генерации и может применяться в художественных и прикладных задачах обработки изображений. Точный размер модели и длина контекстного окна в README не указаны. Модель распространяется по лицензии CreativeML OpenRAIL M, адаптированной из Open RAIL M; ограничения и условия использования определяются текстом этой лицензии.

27K252февр. 2023
textopenrailhugging-face
TencentARC
ARC-Hunyuan-Video-7B

ARC-Hunyuan-Video-7B — мультимодальная модель TencentARC для структурированного понимания коротких видео из реального мира. Это плотная модель на 7 млрд параметров, построенная на Hunyuan-7B vision-language model и дополненная аудиоэнкодером для совместного анализа визуальных, звуковых и текстовых сигналов. Механизм временных меток на кадрах помогает связывать события с моментами видео. Модель отвечает на открытые вопросы о видео, создаёт описания и сводки с временными метками, определяет временные фрагменты, связанные с запросом, и рассуждает о содержании аудио и видео. Она рассчитана, в частности, на короткие пользовательские ролики; авторы сообщают о поддержке входных видео длительностью до пяти минут. Для более длинных видео рекомендуется разбивать запись на фрагменты и объединять результаты внешней LLM. В README указана возможность локального запуска на одной NVIDIA A100 40 ГБ; для развёртывания через vLLM рекомендованы две такие GPU. Модель ориентирована на китайские платформы коротких видео, однако README не задаёт полный список поддерживаемых языков. Авторы отмечают быстрый анализ и синхронизированное аудиовизуальное рассуждение; результаты демо могут отличаться от опубликованных из-за сжатия видео. Лицензия в предоставленных данных не указана.

58240июль 2025ctx32.8K
textvideohugging-face
misri
cyberrealisticXL_v22

misri/cyberrealisticXL_v22 — модель генерации изображений по текстовому описанию, опубликованная пользователем misri на Hugging Face в формате Diffusers и Safetensors. Метаданные указывают на архитектуру Stable Diffusion XL; карточка демонстрирует генерацию изображения по запросу и пример запуска через Diffusers. Модель предназначена для создания изображений по текстовым промптам. Данных о размере контекста и поддерживаемых языках нет, поэтому их характеристики здесь не уточняются. Лицензия в метаданных обозначена как неизвестная; условия использования следует проверять у автора.

1.6K0авг. 2024
textimageunknownhugging-face
WarmBloodAban
Klein_AnimeHDupscaling

Klein_AnimeHDupscaling — специализированная LoRA-модель для повышения разрешения и улучшения деталей изображений в аниме-стилистике. В README разработчиком указан wikeeyang; модель создана как дополнение к базовой модели Flux2-Klein-9B-True-V2. Модель предназначена для сценариев image-to-image и Tile Diffusion, включая увеличение изображений, восстановление после сжатия и повышение четкости аниме-рендеров. Она улучшает детализацию, уменьшает размытие и артефакты, оптимизирует линии и стремится сохранять исходную композицию, текстуру и рисованный вид изображения. Заявлена повышенная структурная стабильность и согласованность персонажей по сравнению с SeedVR2, а также подавление чрезмерной детализации и цветовых ореолов. Для работы рекомендуется использовать вес LoRA 0,8–1,0, 8 шагов сэмплирования, CFG Scale 1,0 и сэмплер Euler Ancestral. Для чистого увеличения рекомендуется низкая сила денойзинга; более высокие значения позволяют сильнее переосмысливать детали. Триггерное слово — «高清4K». Сведения о языках, максимальном контексте и отдельных модальностях, кроме обработки изображений, не указаны. В README указаны лицензии Apache-2.0 и creativeml-openrail-m, поэтому перед использованием необходимо уточнить, какая лицензия имеет приоритет для конкретной версии модели и какие ограничения применяются.

5639май 2026
textimageapache-2.0hugging-face
armandosds
Molmo2-4B

Карточка модели armandosds/Molmo2-4B на Hugging Face совпадает с карточкой allenai/Molmo2-4B, поэтому описание составлено по ней. Molmo2-4B — открытая мультимодальная модель семейства Molmo2, разработанная Allen Institute for AI (Ai2). Она предназначена для диалога о визуальных данных: модель анализирует изображения, несколько изображений и видео, отвечает на вопросы и связывает текстовые описания с объектами и событиями в кадре. В числе заявленных сильных сторон — короткие видео, подсчёт объектов и создание подписей; на длинных видео модель показывает конкурентные результаты среди моделей сопоставимого размера. Модель объединяет языковую основу Qwen3-4B-Instruct-2507 с визуальной частью на базе SigLIP 2; архитектура — плотная Molmo2ForConditionalGeneration. Репозиторий содержит веса Safetensors и рассчитан на использование через Transformers. Обучение использовало общедоступные сторонние наборы данных и тщательно отобранные пары изображение–текст и видео–текст. Лицензия — Apache-2.0.

191июль 2026ctx1M
textimageapache-2.0hugging-face
allenai
Molmo2-O-7B

Molmo2-O-7B — открытая мультимодальная модель понимания изображений и видео, разработанная Allen Institute for AI (Ai2). Она предназначена для диалога с визуальными данными: отвечает на вопросы по изображениям, отдельным кадрам и видео, создаёт описания и поддерживает задачи визуального указания и отслеживания объектов. Модель построена на архитектуре Molmo2 с 7 млрд параметров: в основе лежит Olmo-3-7B-Instruct, а для обработки изображений используется визуальный энкодер SigLIP 2. По данным разработчика, модель сильна в понимании коротких видео, подсчёте объектов и создании подписей, а на длинных видео показывает конкурентные результаты. Основной язык карточки — английский. Модель распространяется в формате safetensors и использует лицензию Apache-2.0.

18K26дек. 2025ctx65.5K
textimageapache-2.0hugging-face
ByteDance
Sa2VA-InternVL3-2B

Карточка модели ByteDance/Sa2VA-InternVL3-2B на Hugging Face совпадает с карточкой ByteDance/Sa2VA-Qwen2_5-VL-3B, поэтому описание составлено по ней. ByteDance/Sa2VA-Qwen2_5-VL-3B — мультимодальная чат-модель семейства Sa2VA, предназначенная для работы с изображениями и видео. Она отвечает на вопросы по визуальному содержимому, понимает визуальные подсказки и выполняет сегментацию объектов с плотной привязкой к изображению или кадрам видео. Семейство Sa2VA объединяет языковые и визуальные компоненты; в этом репозитории указаны 3,1 млрд параметров, архитектура Sa2VAChatModelQwen и контекст до 128 000 токенов. Модель рассчитана на визуальные диалоги, локализацию объектов и сегментацию, включая задачи на видео. В README семейство Sa2VA описано как конкурентоспособное с Qwen2.5-VL и InternVL3 в тестах ответов на вопросы и сильное в визуальной привязке и сегментации. Указанная лицензия — Apache-2.0. Поддержка языков обозначена как многоязычная, без перечисления отдельных языков.

7432окт. 2025ctx12.3K
textapache-2.0hugging-face
ByteDance
Sa2VA-Qwen2_5-VL-7B

Карточка модели ByteDance/Sa2VA-Qwen2_5-VL-7B на Hugging Face совпадает с карточкой ByteDance/Sa2VA-Qwen2_5-VL-3B, поэтому описание составлено по ней. ByteDance/Sa2VA-Qwen2_5-VL-3B — мультимодальная чат-модель семейства Sa2VA, предназначенная для работы с изображениями и видео. Она отвечает на вопросы по визуальному содержимому, понимает визуальные подсказки и выполняет сегментацию объектов с плотной привязкой к изображению или кадрам видео. Семейство Sa2VA объединяет языковые и визуальные компоненты; в этом репозитории указаны 3,1 млрд параметров, архитектура Sa2VAChatModelQwen и контекст до 128 000 токенов. Модель рассчитана на визуальные диалоги, локализацию объектов и сегментацию, включая задачи на видео. В README семейство Sa2VA описано как конкурентоспособное с Qwen2.5-VL и InternVL3 в тестах ответов на вопросы и сильное в визуальной привязке и сегментации. Указанная лицензия — Apache-2.0. Поддержка языков обозначена как многоязычная, без перечисления отдельных языков.

4585окт. 2025ctx128K
textapache-2.0hugging-face
aryanvibhosale
vibe

VIBE — модель для генерации фоновой музыки по видео и текстовой инструкции. Она создаёт музыку, которая учитывает содержание ролика и заданные пользователем параметры, например темп, тональность, настроение и инструменты. Модель разработана на основе VoxCPM и адаптирована для музыки; в её архитектуре используются мультимодальная семантическая языковая модель MiniCPM4-0.5B, блок RITE и диффузионный трансформер LocDiT с условным flow matching. Вместо дискретного аудиотокенизатора модель работает с непрерывными латентными представлениями; заявлен стереовыход с частотой 48 кГц. VIBE рассчитана на создание коротких инструментальных фоновых музыкальных фрагментов для видео с явным управлением через текст. Обучение включает генерацию музыки по тексту и видео, а также оптимизацию с подкреплением по оценкам мультимодального судьи и проверяемым правилам для темпа и тональности. Модель принимает видео и текст, выдаёт аудио. Языковой тег en относится к текстовым инструкциям, а не к аудио. В карточке указаны 953,5 млн параметров и лицензия Apache-2.0. Репозиторий содержит веса, но для запуска нужны код VIBE, внешний музыкальный VAE и конфигурация препроцессора CLIP. Это экспериментальная исследовательская модель: генерация может содержать артефакты, соблюдение инструкций надёжнее для темпа, чем для тональности. Модель не предназначена для вокала, полноформатных аранжировок или использования в производстве без дополнительной проверки.

2610авг. 2026
textaudioapache-2.0hugging-face
microsoft
xclip-base-patch32-16-frames

X-CLIP — видеоязыковая модель семейства CLIP, разработанная Microsoft и представленная Ni и соавторами в работе «Expanding Language-Image Pretrained Models for General Video Recognition». Это базовая модель с патчами размером 32, обученная с учителем на датасете Kinetics-400 в контрастивном режиме на парах «видео — текст». Для обработки каждого видео использует 16 кадров с разрешением 224×224. Модель подходит для классификации видео zero-shot, few-shot и с учителем, а также для поиска соответствия между видео и текстом и поиска видео по текстовому запросу. На Kinetics-400 указаны результаты top-1 81,1% и top-5 95,5%. В репозитории доступны веса PyTorch и safetensors; лицензия — MIT. Карточка приводит английский язык в метаданных, но не утверждает, что модель рассчитана только на английский.

11K9сент. 2022ctx77
videomithugging-face
calcuis
cosmos-predict2-gguf

calcuis/cosmos-predict2-gguf — это GGUF-квантизированная версия моделей Cosmos-Predict2, разработанная сообществом calcuis на основе моделей NVIDIA. В репозитории представлены варианты, включая модели на 2B и 14B параметров; в метаданных базовой моделью указана nvidia/Cosmos-Predict2-2B-Text2Image. Модель предназначена прежде всего для генерации изображений по текстовому описанию и интеграции с ComfyUI через gguf-node. В примерах показана генерация сцен с людьми, атмосферой, дождём, городскими и кинематографичными сюжетами; также приведены видеопримеры, однако точные возможности, архитектура, поддерживаемые языки и размер контекста не указаны. Для работы требуются GGUF-файлы модели, текстового энкодера t5xxl-old и VAE pig, размещённые в соответствующих каталогах ComfyUI. Использование полностью в формате GGUF позволяет отказаться от safetensors и ориентировано на совместимость с gguf-node. Лицензия указана как NVIDIA Open Model License; условия следует уточнять по официальному тексту лицензии NVIDIA.

6.9K33июнь 2025
textimageotherhugging-face
black-forest-labs
FLUX.1-Canny-dev

FLUX.1 Canny [dev] — модель генерации изображений от Black Forest Labs. Это трансформер rectified flow на 12 млрд параметров, обученный с помощью дистилляции guidance. Он создаёт изображение по текстовому описанию, одновременно следуя структуре входного изображения, заданной картой контуров Canny. Модель подходит для преобразования эскизов и контурных изображений в иллюстрации, а также для редактирования визуального результата по текстовой инструкции с сохранением композиции исходника. Для запуска предусмотрен интерфейс FluxControlPipeline в библиотеке Diffusers. Модель хорошо сочетает следование текстовому запросу с сохранением структуры исходного изображения. Она может не точно выполнять запросы, а результат зависит от стиля формулировки промпта; модель не предназначена для получения фактической информации и может усиливать социальные предубеждения. Лицензия FLUX.1 [dev] Non-Commercial License допускает личное и научное использование, а также коммерческое использование с ограничениями, установленными лицензией.

4.9K244нояб. 2024
textimageotherhugging-face
OpenMOSS-Team
MOSS-SoundEffect-v2.0

MOSS-SoundEffect v2.0 — модель генерации звуковых эффектов по текстовому описанию, разработанная командой OpenMOSS-Team. Она преобразует естественно-языковые запросы в атмосферные, городские, животные и другие звуки, включая действия людей и короткие музыкальные или перкуссионные фрагменты. Модель предназначена для создания звукового оформления сцен, игр, видео и аудиоконтента. В основе — Diffusion Transformer с обучением Flow Matching, DAC VAE и текстовый энкодер Qwen3. Модель содержит 1,3 млрд параметров, генерирует звук с частотой 48 кГц и поддерживает длительность до 30 секунд за один вызов. Обучающие описания были на английском и китайском языках. Репозиторий использует Diffusers и формат Safetensors. Модель распространяется по лицензии Apache-2.0. Для генерации требуется значительное число шагов сэмплирования; README указывает 100 шагов как значение по умолчанию. Указанные языки обучающих описаний не гарантируют одинаковое качество для других языков.

2.8K143май 2026
textaudioapache-2.0hugging-face
ByteDance
Sa2VA-8B

Sa2VA-8B — мультимодальная модель ByteDance для диалога с визуальными данными. Она объединяет возможности InternVL2.5-8B и сегментацию на основе SAM2; в карточке семейства для языковой части указана internlm2_5-7b-chat. Модель обрабатывает изображения и видео, отвечает на вопросы о них, понимает визуальные подсказки и выполняет плотную сегментацию объектов с привязкой к содержимому сцены. Модель подходит для визуального поиска и анализа сцен, сегментации объектов по текстовому или визуальному запросу, а также для вопросов и ответов по изображениям и видео. В README заявлены результаты, сопоставимые с Qwen2-VL и InternVL2.5 на бенчмарках вопросов и ответов, и сильные результаты на бенчмарках визуальной привязки и сегментации; конкретные оценки приведены для Sa2VA-8B. Репозиторий содержит веса safetensors, модель использует Transformers и распространяется по лицензии Apache-2.0.

3.1K64янв. 2025ctx16.4K
textapache-2.0hugging-face
ByteDance
Sa2VA-InternVL3-14B

Карточка модели ByteDance/Sa2VA-InternVL3-14B на Hugging Face совпадает с карточкой ByteDance/Sa2VA-Qwen2_5-VL-3B, поэтому описание составлено по ней. ByteDance/Sa2VA-Qwen2_5-VL-3B — мультимодальная чат-модель семейства Sa2VA, предназначенная для работы с изображениями и видео. Она отвечает на вопросы по визуальному содержимому, понимает визуальные подсказки и выполняет сегментацию объектов с плотной привязкой к изображению или кадрам видео. Семейство Sa2VA объединяет языковые и визуальные компоненты; в этом репозитории указаны 3,1 млрд параметров, архитектура Sa2VAChatModelQwen и контекст до 128 000 токенов. Модель рассчитана на визуальные диалоги, локализацию объектов и сегментацию, включая задачи на видео. В README семейство Sa2VA описано как конкурентоспособное с Qwen2.5-VL и InternVL3 в тестах ответов на вопросы и сильное в визуальной привязке и сегментации. Указанная лицензия — Apache-2.0. Поддержка языков обозначена как многоязычная, без перечисления отдельных языков.

11310окт. 2025ctx12.3K
textapache-2.0hugging-face
ByteDance
Sa2VA-InternVL3-8B

Карточка модели ByteDance/Sa2VA-InternVL3-8B на Hugging Face совпадает с карточкой ByteDance/Sa2VA-Qwen2_5-VL-3B, поэтому описание составлено по ней. ByteDance/Sa2VA-Qwen2_5-VL-3B — мультимодальная чат-модель семейства Sa2VA, предназначенная для работы с изображениями и видео. Она отвечает на вопросы по визуальному содержимому, понимает визуальные подсказки и выполняет сегментацию объектов с плотной привязкой к изображению или кадрам видео. Семейство Sa2VA объединяет языковые и визуальные компоненты; в этом репозитории указаны 3,1 млрд параметров, архитектура Sa2VAChatModelQwen и контекст до 128 000 токенов. Модель рассчитана на визуальные диалоги, локализацию объектов и сегментацию, включая задачи на видео. В README семейство Sa2VA описано как конкурентоспособное с Qwen2.5-VL и InternVL3 в тестах ответов на вопросы и сильное в визуальной привязке и сегментации. Указанная лицензия — Apache-2.0. Поддержка языков обозначена как многоязычная, без перечисления отдельных языков.

966окт. 2025ctx12.3K
textapache-2.0hugging-face
stabilityai
stable-diffusion-3.5-large-controlnet-canny

Это Canny ControlNet от Stability AI для Stable Diffusion 3.5 Large. Модель принимает текстовое описание и изображение с картой контуров Canny, чтобы генерировать изображение, согласованное с заданной композицией. Её можно использовать с официальным репозиторием SD 3.5 или через Diffusers; предварительную обработку изображения для получения карты контуров нужно выполнить отдельно. Модель предназначена для управляемой генерации изображений, когда важно следовать контурам исходного изображения. В README рекомендовано начинать с силы ControlNet 0,8; выборка Euler и 50–60 шагов могут улучшить результат. Модель не обучена создавать фактически достоверные изображения людей или событий. Данные обучения включали синтетические и отфильтрованные общедоступные материалы. Репозиторий использует формат safetensors и распространяется по Stability Community License; коммерческое лицензирование регулируется условиями Stability AI. Использование должно соответствовать Acceptable Use Policy.

21K16нояб. 2024
textimageotherhugging-face
TIGER-Lab
VideoScore-v1.1

VideoScore-v1.1 — модель TIGER-Lab для автоматической оценки качества видео и соответствия видео текстовому описанию. Это регрессионная мультимодальная модель на базе Mantis-8B-Idefics2, дообученная на наборе VideoFeedback с человеческими оценками по нескольким аспектам. В метаданных указана архитектура Idefics2ForSequenceClassification и формат весов safetensors. Модель принимает видео и текст и выдаёт оценки качества, пригодные для сравнения с человеческими оценками. В версии 1.1 улучшена оценка соответствия текста видео и поддержан инференс по 48 кадрам. В README сообщается о корреляции Спирмена 74,0 на тестовой части VideoFeedback и результатах на GenAI-Bench и VBench; эти показатели относятся к указанным бенчмаркам. Модель предназначена для оценки и ранжирования результатов генерации видео, но не создаёт видео. Она опубликована под лицензией MIT. Результаты оценки могут не совпадать с человеческими предпочтениями за пределами обучающих данных и проверенных бенчмарков.

7828нояб. 2024
textmithugging-face
mit-han-lab
vila-u-7b-256

VILA-U-7B-256 — мультимодальная базовая модель семейства VILA-U, разработанная MIT Han Lab. Она объединяет понимание видео, изображений и языка с генерацией текста и изображений в единой авторегрессионной архитектуре next-token prediction. Вместо отдельных модулей для понимания и генерации визуальных данных модель использует единый vision tower, который связывает дискретные визуальные токены с текстом. Модель предназначена для визуально-языковых сценариев: анализа изображений и видео, ответов на вопросы по визуальному содержимому и авторегрессионной генерации изображений. В README заявлена производительность, близкая к передовым системам в понимании и генерации визуального контента. Репозиторий содержит веса в формате safetensors; лицензия — MIT. Размер 7B следует из идентификатора модели, однако контекстное окно и поддерживаемые естественные языки в предоставленных данных не описаны.

3226окт. 2024
textmithugging-face
raulc0399
flux_dev_openpose_controlnet

Модель raulc0399/flux_dev_openpose_controlnet — это обученный для FLUX.1-dev модуль ControlNet, который использует позу OpenPose, чтобы направлять генерацию изображений по текстовому описанию. Разработчик указал, что обучение спонсировала Oxen.ai; модель представлена в формате safetensors и рассчитана на работу с FLUX.1-dev. Модель подходит для создания изображений с заданной позой человека: например, чтобы разместить персонажа в сцене и сохранить положение тела, заданное OpenPose. Карточка показывает примеры генерации по текстовым запросам, но не сообщает размер модели, длину контекста или конкретную лицензию; в метаданных лицензия обозначена как other.

1.0K53сент. 2024
textimageotherhugging-face
KamCastle
jugg

KamCastle/jugg — модель генерации изображений по текстовому описанию, опубликованная пользователем KamCastle на Hugging Face. Файл модели называется juggernaut_reborn.safetensors, а метаданные относят её к семейству StableDiffusionPipeline и библиотеке Diffusers. Модель предназначена для text-to-image сценариев: создания изображений на основе текстовых промптов, включая реалистичные и художественные композиции. Объём модели составляет около 0,9 млрд параметров. Поддерживается формат SafeTensors и запуск через совместимые инструменты Diffusers. Модель работает с текстовыми запросами на естественных языках, однако конкретный перечень поддерживаемых языков в доступных источниках не установлен. Лицензия в доступных метаданных и результатах поиска не подтверждена.

6540февр. 2024
textimagehugging-face

Задачи профессии

18 задач
154Генерация видеосцены по текстовому описанию или раскадровке. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Рабочие входы: видеоряд, движение, текстовые сценарии, видеозаписи и кадры. Формат результата: редактируемый артефакт по задаче «Генерация видеосцены по текстовому описанию или раскадровке», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
155Продолжение, расширение или изменение существующего видеоклипа. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Входной контекст включает видеоряд, текстовые сценарии, видеозаписи, кадры и раскадровки. Формат результата: редактируемый артефакт по задаче «Продолжение, расширение или изменение существующего видеоклипа», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
156Автоматический монтаж по сценарию, темпу или смысловым событиям. — Механизм: AI обрабатывает исходные данные по формализованным правилам и обученным закономерностям, чтобы получить проверяемый результат. Предметная логика: сопоставляет не только одинаковые слова, но и намерение, контекст и близкие понятия. Исходные данные: текст запроса, видеозаписи, кадры, раскадровки и трёхмерные модели. Формат результата: конкретный результат по задаче «Автоматический монтаж по сценарию, темпу или смысловым событиям» с исходными данными, промежуточными основаниями и возможностью проверки. Проверка: сверкой с эталонными случаями, воспроизводимостью и экспертной проверкой результата; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
157Поиск и нарезка ключевых моментов в длинной записи. — AI преобразует запрос и объекты в сопоставимое представление, затем находит наиболее близкие и подтверждённые результаты. К исходным данным относятся кадры, раскадровки, трёхмерные модели и движение. Формат результата: ранжированный список кандидатов по задаче «Поиск и нарезка ключевых моментов в длинной записи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
158Стабилизация, повышение частоты кадров и разрешения видео. — Для этой задачи система замыкает контур управления: наблюдает результат предыдущего действия и адаптирует следующий управляющий шаг. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Рабочие входы: видеоряд, раскадровки, трёхмерные модели, движение и текстовые сценарии. Формат результата: управляющее решение для «Стабилизация, повышение частоты кадров и разрешения видео» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Критерии приёмки: в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
159Удаление или замена объектов и фона в видео. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Входной контекст включает видеоряд, трёхмерные модели, движение, текстовые сценарии и видеозаписи. Формат результата: преобразованный материал по задаче «Удаление или замена объектов и фона в видео» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
160Автоматическая цветокоррекция и согласование кадров. — Механизм: AI сочетает предметные правила с анализом данных и формирует результат, который можно проследить до исходных фактов. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Исходные данные: видеоряд, движение, текстовые сценарии, видеозаписи и кадры. Формат результата: конкретный результат по задаче «Автоматическая цветокоррекция и согласование кадров» с исходными данными, промежуточными основаниями и возможностью проверки. Проверка: сверкой с эталонными случаями, воспроизводимостью и экспертной проверкой результата; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
161Синхронизация движения губ с новой речевой дорожкой. — AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. К исходным данным относятся текстовые сценарии, видеозаписи, кадры и раскадровки. Формат результата: преобразованный материал по задаче «Синхронизация движения губ с новой речевой дорожкой» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
162Создание дубляжа с сохранением временной структуры сцены. — Для этой задачи система создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Рабочие входы: речевая дорожка, видеозаписи, кадры, раскадровки и трёхмерные модели. Формат результата: редактируемый артефакт по задаче «Создание дубляжа с сохранением временной структуры сцены», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
163Генерация субтитров и их временная синхронизация. — Практическая реализация: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Входной контекст включает речевая дорожка, кадры, раскадровки, трёхмерные модели и движение. Формат результата: редактируемый артефакт по задаче «Генерация субтитров и их временная синхронизация», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
164Преобразование видео в анимацию или иной визуальный стиль. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Исходные данные: видеоряд, раскадровки, трёхмерные модели, движение и текстовые сценарии. Формат результата: преобразованный материал по задаче «Преобразование видео в анимацию или иной визуальный стиль» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
165Генерация движения персонажа по тексту, видео или захвату позы. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. К исходным данным относятся видеоряд, трёхмерные модели, движение, текстовые сценарии и видеозаписи. Формат результата: редактируемый артефакт по задаче «Генерация движения персонажа по тексту, видео или захвату позы», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
166Создание раскадровки и превизуализации. — Для этой задачи система собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: учитывает временную согласованность между кадрами, движение камеры и непрерывность объектов. Рабочие входы: видеоряд, движение, текстовые сценарии, видеозаписи и кадры. Формат результата: редактируемый артефакт по задаче «Создание раскадровки и превизуализации», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
167Генерация трёхмерной модели по тексту или эскизу. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Входной контекст включает текстовые сценарии, видеозаписи, кадры и раскадровки. Формат результата: редактируемый артефакт по задаче «Генерация трёхмерной модели по тексту или эскизу», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
168Генерация текстур, материалов и окружения для 3D-сцены. — Механизм: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: восстанавливает глубину, форму и топологию, затем согласует геометрию между ракурсами. Исходные данные: изображения с разных ракурсов, видеозаписи, кадры, раскадровки и трёхмерные модели. Формат результата: редактируемый артефакт по задаче «Генерация текстур, материалов и окружения для 3D-сцены», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
169Автоматическая ретопология, развёртка UV и упрощение 3D-модели. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: восстанавливает глубину, форму и топологию, затем согласует геометрию между ракурсами. К исходным данным относятся изображения с разных ракурсов, кадры, раскадровки, трёхмерные модели и движение. Формат результата: преобразованный материал по задаче «Автоматическая ретопология, развёртка UV и упрощение 3D-модели» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
170Создание цифрового аватара с заданной мимикой и жестами. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Рабочие входы: раскадровки, трёхмерные модели, движение и текстовые сценарии. Формат результата: редактируемый артефакт по задаче «Создание цифрового аватара с заданной мимикой и жестами», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — видео- или 3D-актив. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию.
171Преобразование двухмерного контента в пространственную сцену. — Практическая реализация: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Входной контекст включает трёхмерные модели, движение, текстовые сценарии и видеозаписи. Формат результата: преобразованный материал по задаче «Преобразование двухмерного контента в пространственную сцену» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по временной согласованности, геометрии, качеству движения, артефактам и соответствию сценарию. <a id="section-i-11"></a>

0 моделей