Modelscope without the watermark, trained in 320x320 from the original weights, with no skipped frames for less flicker. This updated version fixes stretching issues present in v1, but produces different results overall Model was trained on a subset of the vimeo90k dataset + a selection of music videos
zeroscope_v1-1_320s
Генерация видеоТекст → видео
Zeroscope v1.1 — модель Diffusers для генерации видео по текстовому описанию с разрешением 320×320.
9скачиваний за 30 дней5лайковвеса обновлены28 июн 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Видео» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
cerspense/zeroscope_v1-1_320s — модель преобразования текста в видео на основе Diffusers и PyTorch. Автор карточки описывает её как версию Zeroscope, обученную в разрешении 320×320 на подмножестве Vimeo90K и подборке музыкальных видео.
Модель предназначена для генерации видеоклипов по текстовому описанию. По сравнению с v1 эта версия исправляет растяжение изображения; при этом результаты могут отличаться, а пропуск кадров при обучении был отключён для уменьшения мерцания.
Модель распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. В карточке не приведены сведения о поддерживаемых языках запросов и о максимальной длине генерируемого видео.
Сценарии применения
- создание коротких видеоклипов по текстовым описаниям
- генерация музыкальных видеосцен
- быстрое создание черновиков видео
- эксперименты с генерацией видео из текста
Ограничения
Разрешение модели составляет 320×320; результаты отличаются от версии v1. Коммерческое использование ограничено лицензией CC BY-NC 4.0.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Ревизия весов
- f50f20a