/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
void-model
Опубликована
6 апр 2026

VOID-Netflix-HLWQ-Q5

Языковая модельВидео, текст → видео3 профессии

Квантованная 5-битная версия Netflix VOID для удаления объектов из видео с сохранением физических взаимодействий и временной согласованности.

14скачиваний за 30 дней7лайковвеса обновлены13 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

VOID Netflix HLWQ Q5 — версия модели Netflix VOID, сжатая методом квантования весов Hadamard-Lloyd Weight Quantization до 5 бит с упаковкой битов. Она предназначена для удаления объектов из видео с сохранением физических взаимодействий и временной согласованности сцены. Модель основана на 5-миллиардном 3D-трансформере CogVideoX и использует двухэтапный конвейер: базовое заполнение удалённых областей и уточнение с оптическим потоком. На вход подаются видео, маска quadmask и текстовый запрос; заявленное разрешение — 384×672, до 197 кадров.

По данным карточки, сжатие уменьшает общий объём с 42 до 13 ГБ; при этом веса Pass 1, Pass 2 и текстового энкодера также квантованы. Для запуска указаны Diffusers и GPU с 24 ГБ видеопамяти после деквантизации PQ5 либо A100 с 40 ГБ как рекомендуемая конфигурация. Репозиторий распространяется по лицензии Apache-2.0. Карточка сообщает метрику cosine similarity 0,9986, но не приводит подробностей протокола её измерения.

Сценарии применения

  • удаление человека из видео с естественным движением оставленных им предметов
  • удаление объекта с реалистичным восстановлением фона и окружения
  • обработка видео с сохранением временной согласованности между кадрами

Ограничения

Модель рассчитана на разрешение 384×672 и ролики длиной до 197 кадров; запуск требует значительных ресурсов GPU, даже после квантования. Карточка не описывает протокол оценки качества для заявленной метрики cosine similarity.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

[!IMPORTANT] Naming notice (2026-04-10). The "HLWQ" technique used in this model is being rebranded to HLWQ (Hadamard-Lloyd Weight Quantization). The change is only the name; the algorithm and the weights in this repository are unchanged.

The rebrand resolves a name collision with an unrelated, earlier KV cache quantization method also named HLWQ (Han et al., arXiv:2502.02617, 2025). HLWQ addresses weight quantization with a deterministic Walsh-Hadamard rotation and Lloyd-Max scalar codebook; Han et al.'s HLWQ addresses KV cache quantization with a random polar rotation. The two methods are technically distinct.

Existing loaders that load this repository by ID continue to work without changes. Future model uploads will use the HLWQ name.

Reference paper for this technique: arXiv:2603.29078 (v2 in preparation; v1 still uses the old name).

VOID (Netflix) — HLWQ Q5 (Bit-Packed)

PQ5 quantized Netflix VOID — remove objects from video while preserving physical interactions.

42 GB → 13 GB (-69%) | cos_sim 0.9986 | 506 layers quantized

Download Size

Download

Compression

Compression

ComponentOriginalPQ5 PackedReduction
VOID Pass 1 (inpainting)11.1 GB4.7 GB-58%
VOID Pass 2 (refinement)11.1 GB4.7 GB-58%
T5 Text Encoder9.5 GB3.1 GB-67%
VAE0.4 GB0.4 GBBF16
Total~42 GB~13 GB-69%

Quick Start (3 commands)

# 1. Install
pip install safetensors huggingface_hub scipy diffusers transformers accelerate

# 2. Download & setup (13 GB)
git clone https://huggingface.co/caiovicentino1/VOID-Netflix-HLWQ-Q5 ./VOID-PQ5
cd VOID-PQ5 && python setup.py

# 3. Run inpainting
python generate_void.py --sample lime  # built-in sample
# Or with your own video:
python generate_void.py --video input.mp4 --mask mask.mp4 --prompt "empty room"

What is VOID?

VOID removes objects from video while preserving the physics of the scene:

  • Person removed → objects they were holding fall naturally
  • Object removed → surrounding items shift realistically
  • Uses quadmask conditioning (4-value mask: remove/overlap/affected/keep)

Two-pass pipeline:

  1. Pass 1: Base inpainting (sufficient for most videos)
  2. Pass 2: Optical flow-warped refinement for temporal consistency

Architecture

  • CogVideoX 3D Transformer (5B params)
  • 42 layers, 48 heads, head_dim=64
  • Input: video + quadmask + text prompt
  • Resolution: 384x672, up to 197 frames
  • DDIM scheduler

Hardware

GPUVRAMStatus
RTX 4090 (24 GB)24 GBFits after PQ5 dequant
A100 (40 GB)40 GBRecommended
RTX 3090 (24 GB)24 GBFits with offloading

Files

VOID-Netflix-HLWQ-Q5/
├── setup.py                    # One-command setup
├── generate_void.py            # Easy inference wrapper
├── polarquant/
│   ├── codes/
│   │   ├── void_pass1_codes.safetensors   (3.1 GB)
│   │   ├── void_pass2_codes.safetensors   (3.1 GB)
│   │   ├── text_encoder_1_codes.safetensors (1.6 GB)
│   │   └── text_encoder_2_codes.safetensors (1.5 GB)
│   └── bf16/
│       ├── void_pass1_bf16.safetensors    (1.6 GB)
│       ├── void_pass2_bf16.safetensors    (1.6 GB)
│       └── text_encoder_*_bf16.safetensors
├── vae/diffusion_pytorch_model.safetensors (0.4 GB)
├── transformer/config.json
├── text_encoder/config.json
├── tokenizer/
└── scheduler/

Links

Citation

@article{polarquant2026,
  title={HLWQ: Hadamard-Rotated Lloyd-Max Quantization},
  author={Vicentino, Caio},
  journal={arXiv preprint arXiv:2603.29078},
  year={2026}
}

@misc{motamed2026void,
  title={VOID: Video Object and Interaction Deletion},
  author={Motamed, Saman and Harvey, William and Klein, Benjamin and Van Gool, Luc and Yuan, Zhuoning and Cheng, Ta-Ying},
  year={2026},
  eprint={2604.02296},
  archivePrefix={arXiv}
}

42 GB → 13 GB with cos_sim 0.9986. Quantized with HLWQ.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели «видео → видео» пока не запускаются.

Ревизия весов
ff8088d

0 моделей