Характеристики

Лицензия: MIT
Базовая модель: Prism
Опубликована: 6 окт 2026

Ссылки

Hugging Face

Prism-Comfy

t8star

Видео из изображенияИзображение, текст → видео

Prism-Comfy — INT8-вариант Prism alpha для генерации видео и аудио по изображению и подсказкам в ComfyUI.

0скачиваний за 30 дней6лайковвеса обновлены6 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Prism-Comfy — это вариант Prism alpha, подготовленный T8star для запуска через узлы ComfyUI. Репозиторий содержит семь отдельных компонентов совместной генерации видео и аудио: в частности, основные и низкошумовые видео DiT и аудио DiT. Веса упакованы в safetensors вместе с конфигурацией и токенизатором; общий размер комплекта составляет около 38,13 GiB.

Модель предназначена для генерации видео по изображению и текстовым подсказкам, с возможностью задавать отдельные подсказки для видео и аудио. Основные линейные слои квантованы в INT8 методом ConvRot; эмбеддинги, нормализации, временные проекции, выходная голова и VAE сохранены в плавающей точности. Требуется специализированный загрузчик и совместный pipeline Prism для ComfyUI. Указанный пример использует разрешение 848×480, 49 кадров, 50 шагов и частоту 24 кадра/с.

В README описан проверенный пример генерации с полным декодированием видео и аудио, однако звуковую дорожку не прослушивали. При тестировании отмечены небольшое смещение композиции и смягчение мелких текстур; качество квантования не гарантируется как без потерь. Проверка генерации длинных роликов в 720p и ряда других конфигураций не завершена. Производная модель не переобучалась: лицензия Prism — MIT, при этом сторонние компоненты, включая MOVA, сохраняют собственные лицензии.

Сценарии применения

генерация видео по исходному изображению и текстовой подсказке
создание видео с отдельной текстовой подсказкой для аудио
совместная генерация видеоряда и звуковой дорожки в ComfyUI

Ограничения

Квантование может снижать точность: в проверенном примере отмечены небольшое смещение композиции и смягчение мелких текстур, а аудиодорожка не проходила субъективную проверку прослушиванием. Для запуска нужны специализированный загрузчик и совместный pipeline ComfyUI; проверка 720p и некоторых других конфигураций не завершена.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Prism-Comfy · INT8 ConvRot

腾讯 Prism alpha 的七组件独立权重，供 Prism T8 ComfyUI 节点使用。保留官方视频与音频联合生成管道，配置和 tokenizer 内嵌于 safetensors，无需 Diffusers 权重目录。

下载与安装

下载全部七个模型，放入 ComfyUI 对应目录，然后导入节点仓库中的完整画布工作流。完整模型约 38.13 GiB。

文件	组件	ComfyUI 目录	GiB
`prism_alpha_video_dit_int8_convrot.safetensors`	主视频 DiT	`models/diffusion_models/`	13.538
`prism_alpha_video_dit_2_int8_convrot.safetensors`	低噪视频 DiT	`models/diffusion_models/`	13.538
`prism_alpha_audio_dit_int8_convrot.safetensors`	音频 DiT	`models/diffusion_models/`	1.350
`prism_alpha_dual_tower_bridge_int8_convrot.safetensors`	跨模态桥接	`models/diffusion_models/`	2.482
`prism_alpha_text_encoder_int8_convrot.safetensors`	UMT5 与 tokenizer	`models/text_encoders/`	6.294
`prism_alpha_video_vae_bf16.safetensors`	Wan 视频 VAE	`models/vae/`	0.236
`prism_alpha_audio_vae_bf16.safetensors`	DAC 音频 VAE	`models/vae/`	0.692

请使用插件的独立加载器；UMT5 与双 DiT 需要本插件的联合管道。七文件来自同一 bundle，加载器会检查组件、配置、形状和量化标记。转换清单见 prism_alpha_conversion.json，精确大小与 SHA256 见 checksums.json。

量化配方

原生 block Linear 使用 INT8 ConvRot，合计 1,508 个量化 Linear。
使用 Comfy-Org regular Hadamard，分组优先 256，其次 64、16；未启用 MSE clipping。
权重为 INT8，逐行 scale 为 FP32，量化记录采用 int8_tensorwise、convrot=true。
embedding、norm、时间投影、输出头与 VAE 保留浮点精度。音频 VAE 以 BF16 保存、FP32 执行。
portable 使用 W8A16 临时反量化；kitchen 使用动态 W8A8。量化不保证无损。

使用与样片

建议先使用 01_native_i2va.json：848×480、49 帧、50 步、24 fps、portable + dense SDPA、分块 CPU 卸载。支持独立视频／音频提示词、原生调度器与高级稀疏参数。

真实 INT8 样片已完成全帧画面检查和声画完整解码；音轨尚未试听。RTX 5090 Laptop 24 GB 的分块卸载配置耗时约 47 分钟，PyTorch 峰值分配显存约 7.76 GiB。可见轻微构图漂移与细纹理偏软。720p 长视频、其他 480p backend、白帧 T2VA、beta 与多卡尚未完成实样验收。

来源与许可

源模型：FrancisRing/Prism，固定 revision 347659c562dcc392c45dfe1673c051e7c62f57ac。原生代码固定于 883e90a5c90dc8b7044c65eba0bb64e9342cb46a。本仓库提供组件拆分、独立封装与 ConvRot 量化后的派生权重；未重新训练模型。

原始腾讯 LICENSE 和第三方归属声明完整保留。Prism 使用 MIT；MOVA 等第三方组件继续遵循各自许可。源码适配说明见 NATIVE_CHANGES.md。

T8star

B站 · YouTube · API · 免费画廊 · 在线 AI 应用 · ComfyUI 整合包 · Hugging Face

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов: 8e64f16