/ Модель

Характеристики

Лицензия
MIT
Библиотека
s2pd
Опубликована
19 авг 2026

S2PD

Видео из изображенияИзображение, текст → видео

S2PD — набор диффузионных моделей и адаптеров для генерации видео по изображению на синтетических и игровых наборах данных.

0скачиваний за 30 дней1лайквеса обновлены8 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

S2PD (Serial-to-Parallel Diffusion) — набор моделей и адаптеров для генерации видео по изображению, представленный в карточке проекта S2PD. В репозитории есть pixel-space модели DiT-B, обученные с нуля, а также LoRA-адаптеры для Wan-5B, которым требуется базовая модель Wan-5B. Представлены варианты для разных наборов данных и эксперименты с размером блоков и порядком токенов.

Модель предназначена для генерации видеоклипов из входного изображения. В README перечислены обучающие и оценочные наборы данных, включая Kubric MOVi-A, Kubric MOVi-C, MPMWorlds, Conway, Chess, 2048 и Rubik’s Cube Real. Репозиторий использует формат safetensors и лицензию MIT. Подробности загрузки и запуска размещены во внешнем кодовом репозитории.

Сценарии применения

  • генерация видеоклипов из исходного изображения
  • создание анимаций сцен из наборов Kubric MOVi
  • генерация движущихся сцен с шахматами или игрой 2048
  • эксперименты с порядком обработки видеотокенов
  • сравнение стратегий последовательной и параллельной диффузии

Ограничения

Часть вариантов представлена как LoRA-адаптеры и требует базовую модель Wan-5B. README не описывает подробные инструкции по запуску и не приводит измерений качества.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Serial-to-Parallel Diffusion

Project Page · Code

DiT-B

Pixel-space models trained from scratch.

DatasetBidirectionalcDFBCS2PD
Conwayckptckptckptckpt
Chessckptckptckptckpt
2048ckptckptckptckpt
Fifteen Puzzleckptckptckptckpt
Tetrisckptckptckptckpt
Snakeckptckptckptckpt
Rubik’s Cube 3Dckptckptckptckpt
Double Pendulumckptckptckptckpt
Three Bodyckptckptckptckpt
Colliding Balls 2Dckptckptckptckpt
Colliding Balls 3Dckptckptckptckpt
Pongckptckptckptckpt

Wan-5B-LoRA

Adapters requiring the Wan-5B backbone.

DatasetBidirectionalcDFBCS2PD
Kubric MOVi-Ackptckptckptckpt
Kubric MOVi-Cckptckptckptckpt
MPMWorldsckptckptckptckpt
Rubik’s Cube Realckptckptckptckpt

Pin-8 and Pin-64 train with their named block size and full-video blocks, weighted 80/20.

DatasetPin-8Pin-64
Conwayckptckpt
Chessckptckpt
2048ckptckpt
Fifteen Puzzleckptckpt
Tetrisckptckpt
Snakeckptckpt
Rubik’s Cube 3Dckptckpt
Double Pendulumckptckpt
Three Bodyckptckpt
Colliding Balls 2Dckptckpt
Colliding Balls 3Dckptckpt
Pongckptckpt
DatasetRasterZigzagHilbert
Conwayckptckptckpt
Chessckptckptckpt
2048ckptckptckpt
Fifteen Puzzleckptckptckpt
Tetrisckptckptckpt
Snakeckptckptckpt
Rubik’s Cube 3Dckptckptckpt
Double Pendulumckptckptckpt
Three Bodyckptckptckpt
Colliding Balls 2Dckptckptckpt
Colliding Balls 3Dckptckptckpt
Pongckptckptckpt

Download and usage instructions are in the code repository.

Datasets

Licenses

Original weights, adapters, Rubik’s Cube Real footage, and training curves: MIT. Lichess games: CC0. The mirrored Wan backbone, VAE, UMT5 encoder, and tokenizer: Apache 2.0.

S2PD Kubric renders: CC BY-SA 4.0; see the dataset cards for upstream attribution.

Citation

If you use S2PD in your research, please cite:

@misc{hu2026s2pd,
  title         = {{S2PD}: Serial-to-Parallel Diffusion for Physically and Logically Consistent Video Generation},
  author        = {Hu, Jeffrey and Olmeda Reino, Daniel and Tewari, Ayush},
  year          = {2026},
  eprint        = {2610.06847},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2610.06847}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · s2pd

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов
0b8f8d4

0 моделей