/ Модель

Характеристики

Архитектура
t2v · dense
Опубликована
11 окт 2026

long_rolling_switch_prompt_from_ode_init

Генерация видеоТекст → видео

Чекпойнт OmniMem для длинной генерации видео по тексту с переключением промптов во время ролика.

5скачиваний за 30 дней0лайковвеса обновлены11 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OmniMem long rolling — чекпойнт генератора видео по тексту с переключением промптов, разработанный в рамках проекта OmniMem и инициализированный из линии моделей, обученных с использованием ODE. В репозитории опубликованы веса генератора без EMA на шаге обучения 1008; они хранятся в FP32, а инференс оценивался в BF16. Конфигурация использует выбор 12 блоков NSA.

Модель предназначена для длинной последовательной генерации видео с возможностью менять текстовый промпт по ходу ролика. В README приведены настройки оценки: разрешение 832 × 480, длительность 60 секунд и частота 16 кадров в секунду. Для запуска нужны совместимый код OmniMem, Wan2.1 VAE, текстовый энкодер UMT5 и токенизатор, которые поставляются отдельно.

Это промежуточный чекпойнт на шаге 1008, поэтому его качество и стабильность могут отличаться от финальных версий; подтверждённых сведений о поддерживаемых языках и лицензии в предоставленных данных нет.

Сценарии применения

  • создание длинных видеороликов по текстовому описанию
  • смена сцены или темы видео через переключение промпта
  • генерация роликов длительностью до 60 секунд при 16 кадрах в секунду

Ограничения

Опубликован чекпойнт без EMA на раннем шаге обучения 1008, поэтому качество может быть нестабильным. Для инференса требуются отдельные компоненты Wan2.1 VAE, UMT5 и токенизатор; лицензия в предоставленных данных не указана.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

long_rolling_switch_prompt_from_ode_init

OmniMem long rolling video generation with prompt switching, initialized from an ODE-trained lineage.

This release contains the non-EMA generator checkpoint at training step 1008.

Contents

  • config.json
  • Two safetensors weight shards and their index
  • SHA256SUMS for payload integrity checking

The weights retain their original FP32 storage. Inference was evaluated in BF16. The configuration uses NSA top-12 block selection.

Usage

Use compatible OmniMem code with CausalWanNSAModel and CausalWanT2VPipeline. The Wan2.1 VAE, UMT5 text encoder, and tokenizer are separate required components.

from omnimem.models.transformers.causal_wan_nsa_model import CausalWanNSAModel

model = CausalWanNSAModel.from_pretrained(
    "omnimem/long_rolling_switch_prompt_from_ode_init"
)

The original checkpoint configuration is preserved unchanged. Its saved class name records the training wrapper, and _name_or_path records the initialization source. This release is the step-1008 non-EMA checkpoint.

Evaluated inference settings

SettingValue
Resolution832 × 480
Video duration60 seconds
Frame rate16 FPS
Exported frames960 (969 generated, tail cropped)
Sampling steps4
Guidance scale1
Timestep shift5
Seed42
Frame block size3
Prompt switch latent indices42, 81, 120, 162, 201
KV history window3
KV cache LRU maximum7
Prompt recache modefull
VAE decode chunk size3

The checkpoint was evaluated on five prompt-switching sequences.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Генеративная модель выложена не в формате diffusers.

Ревизия весов
290718a

0 моделей