/ Модель
Каталог

Характеристики

Опубликована
5 июн 2023

Ссылки

Hugging Face

potat1

camenduru
Генерация видеоТекст → видео3 профессии

Potat 1 — экспериментальная модель camenduru для генерации видео разрешением 1024×576 по текстовому описанию.

59скачиваний за 30 дней160лайковвеса обновлены15 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Видео» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Potat 1 — прототип модели генерации видео по текстовому описанию, опубликованный camenduru. README называет её первой открытой моделью для генерации видео с разрешением 1024×576. Модель обучали на одном ускорителе A100 с 40 ГБ памяти на 2 197 клипах и 68 388 размеченных кадрах; для разметки использовался salesforce/blip2-opt-6.7b-coco. Указано 10 000 шагов обучения.

Модель предназначена для экспериментального создания коротких видеоклипов по текстовым запросам. Репозиторий содержит веса в форматах Diffusers и PyTorch. README обозначает Potat 1 как прототип и не приводит сведений о лицензии, контекстном окне или поддерживаемых языках.

Сценарии применения

  • Создание видео по текстовому запросу
  • Подготовка черновых видеосцен для творческих проектов
  • Эксперименты с генерацией видео на основе текстовых подсказок

Ограничения

Автор обозначает модель как прототип; качество и стабильность генерации не гарантированы. Лицензия и поддерживаемые языки в README не описаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.10Универсальные способностиВидео, анимация и 3DAI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены.18 задач3 279моделейI.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🐣 Please follow me for new updates https://twitter.com/camenduru 🔥 Please join our discord server https://discord.gg/k5BwmmvJJU

00041-3056174990

Potat 1️⃣

First Open-Source 1024x576 Text To Video Model 🥳

https://huggingface.co/vdo/potat1-5000/tree/main https://huggingface.co/vdo/potat1-10000/tree/main https://huggingface.co/vdo/potat1-10000-base-text-encoder/tree/main https://huggingface.co/vdo/potat1-15000/tree/main https://huggingface.co/vdo/potat1-20000/tree/main https://huggingface.co/vdo/potat1-25000/tree/main https://huggingface.co/vdo/potat1-30000/tree/main https://huggingface.co/vdo/potat1-35000/tree/main https://huggingface.co/vdo/potat1-40000/tree/main https://huggingface.co/vdo/potat1-45000/tree/main https://huggingface.co/vdo/potat1-50000/tree/main https://huggingface.co/vdo/potat1-50000-base-text-encoder/tree/main = https://huggingface.co/camenduru/potat1 (you are here)

Info

Prototype Model Trained with https://lambdalabs.com ❤ 1xA100 (40GB) 2197 clips, 68388 tagged frames ( salesforce/blip2-opt-6.7b-coco ) train_steps: 10000

Dataset & Config

https://huggingface.co/camenduru/potat1_dataset/tree/main

Finetuning

https://github.com/Breakthrough/PySceneDetect https://github.com/ExponentialML/Video-BLIP2-Preprocessor https://github.com/ExponentialML/Text-To-Video-Finetuning https://github.com/camenduru/Text-To-Video-Finetuning-colab

Base Model

https://huggingface.co/damo-vilab/modelscope-damo-text-to-video-synthesis https://www.modelscope.cn/models/damo/text-to-video-synthesis

Thanks to damo-vilab ❤ ExponentialML ❤ kabachuha ❤ @DiffusersLib ❤ @LambdaAPI ❤ @cerspense ❤ @CiaraRowles1 ❤ @p1atdev_art ❤

Thanks to Orellius ❤ (important bug report)

Please try it 🐣 https://github.com/camenduru/text-to-video-synthesis-colab

Potat 2️⃣ is in the oven ♨

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Ревизия весов
0025067

0 моделей

    Создать бенчмарк