/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
22 окт 2024

cogvideox-2b-img2vid

Видео из изображенияИзображение, текст → видео3 профессии

Дообученная модель CogVideoX для генерации видео из исходного изображения и текстового запроса.

379скачиваний за 30 дней80лайковвеса обновлены28 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

NimVideo/cogvideox-2b-img2vid — модель генерации видео по изображению, дообученная на 10 миллионах видео для создания роликов по входному изображению и текстовому запросу. В README заявлено качество на уровне CogVideoX-5B i2v по стандарту SBS; методика и результаты сравнения не приведены.

Модель предназначена для создания коротких видео по исходному кадру и описанию сцены, например анимации транспортного средства в заданной обстановке. Репозиторий содержит веса в формате safetensors для Diffusers. Лицензия — Apache-2.0.

Сценарии применения

  • создание видео по изображению и текстовому описанию
  • анимация фотографии или иллюстрации
  • создание ролика движения объекта в заданной сцене

Ограничения

README не сообщает длину и разрешение генерируемого видео, требования к ресурсам или подробности методики оценки заявленного качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🎥 CogVideoX-2B-Img2Vid 🚀

Fine-tuned on 10 million videos for high-quality generation at SBS levels comparable to CogVideoX-5B! 🌟

Model Highlights 🌟

  • Fine-tuned on 10 million videos for exceptional image-to-video generation quality.

  • Performance benchmarked to match SBS standards at CogVideoX-5B i2v level.

Usage Examples 🔥

Try it for free on nim.video

CLI Inference 🌐

python -m inference.cli_demo \
    --video_path "resources/truck.jpg" \
    --prompt "A truck is driving through a dirt road, showcasing its capability for off-roading." \
    --model_path NimVideo/cogvideox-2b-img2vid

Gradio Inference with Web Demo 🖥️

python -m inference.gradio_web_demo \
    --model_path NimVideo/cogvideox-2b-img2vid

ComfyUI Example 💡

🔧 Find the custom ComfyUI node here.

Quick Start 🚀

1️⃣ Clone the Repository

git clone https://github.com/Nim-Video/cogvideox-2b-img2vid.git
cd cogvideox-2b-img2vid

2️⃣ Set up a Virtual Environment

python -m venv venv
source venv/bin/activate

3️⃣ Install Requirements

pip install -r requirements.txt

Acknowledgements 🙏

This project builds on the foundational work of CogVideoX.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов
c152cf2

0 моделей