Экспериментальный чекпойнт Tune-A-Video на базе Stable Diffusion 1.4 для генерации изображений по тексту с тематикой серфинга.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель Tune-A-Video-library/a-man-is-surfing — экспериментальный чекпойнт на базе CompVis/stable-diffusion-v1-4, подготовленный проектом Tune-A-Video для генерации видео по текстовому описанию сцены с серфингом. В карточке указан обучающий запрос «A man is surfing» и тестовый запрос «A panda is surfing»; модель распространяется в формате Diffusers/PyTorch по лицензии CreativeML OpenRAIL-M.
Базовая архитектура Stable Diffusion — латентная диффузионная модель, изначально предназначенная для создания изображений по тексту. Материалы карточки связывают чекпойнт с подходом Tune-A-Video для настройки модели на одном видео и генерации видео; однако метаданные указывают задачу text-to-image, и примеров фактического вывода видео в README нет. Языковые сведения о конкретном чекпойнте не приведены; базовая модель преимущественно рассчитана на английские запросы.
README не содержит примеров сгенерированного видео, хотя проект связан с генерацией видео; метаданные классифицируют модель как text-to-image. Данных о длине контекста или качестве результатов этого чекпойнта нет.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Test prompt: A panda is surfing
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Пайплайн TuneAVideoPipeline не входит в diffusers 0.41.0.dev0: нужен custom_pipeline.