/ Модель

Характеристики

Базовая модель
Wan2.1-T2V-1.3B
Опубликована
21 сен 2026

3D_VAE_Step1_model

Преобразование изображенийИзображение, текст → изображение

Чекпойнт дообучения Wan2.1-T2V-1.3B, который генерирует правое изображение стереопары по левому.

0скачиваний за 30 дней0лайковвеса обновлены21 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

3D VAE Step1 — чекпойнт дообучения Wan2.1-T2V-1.3B для генерации правого изображения стереопары по левому. Модель обучена на 4 000 шагах: к 16-канальному латентному представлению левого изображения добавляется 16-канальный шумовой латент, образуя вход из 32 каналов. Для работы нужны официальные веса Wan/VAE/T5 и текстовый кэш, подготовленные по инструкциям исходного проекта WangHaiyan378/3D_VAE.

Репозиторий содержит полный PyTorch-чекпойнт с состоянием оптимизатора, а также переносимый шаблон конфигурации. Это файл проекта, не совместимый напрямую с загрузчиками Diffusers или Transformers: его следует использовать через код исходного проекта, предварительно установив зависимости и настроив пути конфигурации. Модель предназначена для стереоизображений и не описана как генератор видео, несмотря на базовую модель Wan2.1-T2V-1.3B. Лицензия в предоставленных данных не указана.

Сценарии применения

  • генерация правого вида стереопары по левому изображению
  • создание пар изображений для стереоскопического просмотра
  • эксперименты с генерацией стереоизображений на базе Wan2.1

Ограничения

Для запуска требуются официальные веса Wan/VAE/T5, текстовый кэш и код исходного проекта. Чекпойнт использует проектный формат PyTorch и не загружается напрямую через Diffusers или Transformers; обучение продолжалось 4 000 шагов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

3D VAE Step1

图像左目生成右目,训练至 4,000 steps 的原始 full checkpoint。

代码与完整准备流程:WangHaiyan378/3D_VAE,发布时对应提交 77f53f5。

  • 权重文件:step_4000.pt,17,030,126,406 bytes。
  • Wan2.1-T2V-1.3B DiT,全量微调;32 通道输入由噪声 latent(16)与左目 latent(16)拼接。
  • checkpoint 包含 model、optim、step、finetune、cfg,保留完整优化器状态。
  • 配套 stage1_image.yaml 是代码仓库的可迁移配置模板;原始训练配置保存在 checkpoint 的 cfg 中,包含原训练环境路径,使用时请按本机路径调整。
  • 本仓库只提供该阶段 checkpoint;官方 Wan/VAE/T5 权重和文本缓存需要按代码仓库说明准备。
  • 文件是项目自定义 PyTorch checkpoint,需要先安装并在代码仓库内使用;不是 Diffusers 或 Transformers 的 from_pretrained 格式。原始配置包含项目 Config 对象,项目加载器使用 weights_only=False。

下载及使用

在代码仓库根目录、安装依赖后执行:

from huggingface_hub import hf_hub_download
from pathlib import Path
import shutil

downloaded = hf_hub_download('sdfwasdf/3D_VAE_Step1_model', 'step_4000.pt')
target = Path('output/concat_1.3b_full/checkpoints/latest.pt')
target.parent.mkdir(parents=True, exist_ok=True)
shutil.copyfile(downloaded, target)

按代码仓库 README 准备官方权重与文本缓存,再运行:

python -m stereo_concat.infer.infer --config configs/stage1_image.yaml --ckpt output/concat_1.3b_full/checkpoints/latest.pt --input left.jpg --output right.jpg

下一阶段模型:Step2。

文件字节数与 SHA-256 见 checkpoint_info.json 和 SHA256SUMS。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели «картинка → картинка» пока не запускаются.

Ревизия весов
a9f6c2f

0 моделей