/ Модель

Характеристики

Архитектура
t2v · dense
Опубликована
11 окт 2026

self_forcing_from_ode_init

Генерация видеоТекст → видео

Чекпойнт OmniMem для генерации видео по текстовому описанию и дальнейшего rolling-обучения.

6скачиваний за 30 дней0лайковвеса обновлены11 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OmniMem ordinary self-forcing — чекпойнт генератора для создания видео по текстовому описанию. Он инициализирован весами генератора, обученного методом ODE, и содержит EMA-веса после 800-го шага self-forcing-обучения. Чекпойнт служит общей начальной точкой для ветвей plain и prompt-switching rolling-training.

Модель использует конфигурацию CausalWanNSAModel с выбором top-12 блоков NSA и хранит веса в FP32 в формате safetensors. Для запуска нужны совместимые компоненты OmniMem, CausalWanT2VPipeline, VAE Wan2.1, текстовый энкодер UMT5 и токенизатор; эти компоненты поставляются отдельно. Лицензия в предоставленных данных не указана.

Сценарии применения

  • создание видео по текстовому описанию
  • инициализация plain-ветви rolling-обучения
  • инициализация ветви rolling-обучения с переключением промптов

Ограничения

Для работы требуются отдельные VAE Wan2.1, энкодер UMT5, токенизатор и совместимый код OmniMem. Чекпойнт является промежуточной общей инициализацией для последующих ветвей rolling-обучения.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

self_forcing_from_ode_init

OmniMem ordinary self-forcing checkpoint initialized from ODE-trained generator weights.

This release contains the generator EMA weights at self-forcing training step 800. It is the shared initialization checkpoint used for the plain and prompt-switching rolling-training branches.

Checkpoint lineage

ODE step-800 generator weights → ordinary self-forcing step-800 EMA → rolling-training branches.

The downstream releases are:

Contents

  • config.json
  • Two safetensors weight shards and their index
  • SHA256SUMS for payload integrity checking

The weights retain their original FP32 storage. The model configuration uses NSA top-12 block selection.

Usage

Use compatible OmniMem code with CausalWanNSAModel and CausalWanT2VPipeline. The Wan2.1 VAE, UMT5 text encoder, and tokenizer are separate required components.

from omnimem.models.transformers.causal_wan_nsa_model import CausalWanNSAModel

model = CausalWanNSAModel.from_pretrained(
    "omnimem/self_forcing_from_ode_init"
)

The original checkpoint configuration is preserved unchanged. Its saved class name records the training wrapper, and _name_or_path records the upstream ODE initialization source. The released payload is the ordinary self-forcing step-800 EMA checkpoint.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Генеративная модель выложена не в формате diffusers.

Ревизия весов
3b8f9ea

0 моделей