Характеристики

Лицензия: CC BY-NC 4.0
Опубликована: 24 сен 2026

Ссылки

s2v-2b-realtime

Видео из изображенияИзображение, текст → видео

Дистиллированная модель Diffusion Transformer для генерации видео говорящего аватара в реальном времени по изображению и речи.

0скачиваний за 30 дней0лайковвеса обновлены25 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это 2-миллиардная модель генерации видео с говорящим аватаром, опубликованная анонимной командой в связи с подачей статьи на ICLR 2027. Основная часть — генератор на основе Diffusion Transformer с 2,27 млрд параметров; в репозитории также есть декодер Turbo-VAED, дообученный для вывода видео с увеличенным разрешением. Веса сохранены в формате safetensors и представлены в fp32.

Модель предназначена для создания видео говорящего аватара в реальном времени по изображению и речи. Это EMA-веса генератора второй стадии, полученные дистилляцией. Для запуска нужны определение модели, энкодеры условий и цикл сэмплирования из связанного репозитория кода. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Сценарии применения

создание видео говорящего аватара по исходному изображению и речи
генерация анимированного портрета для виртуального ведущего
создание речевых видеоаватаров в реальном времени

Ограничения

Для запуска необходимы энкодеры условий и цикл сэмплирования из связанного репозитория кода. Лицензия CC BY-NC 4.0 не допускает коммерческое использование.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Speech-to-video avatar model, 2B, real-time variant (anonymous ICLR 2027 submission)

Exponential moving average weights of the distilled stage-2 generator described in the paper.

model.safetensors: DiT weights, fp32, 2.27B parameters, 8.44 GiB, 1015 tensors. Key names match the state_dict of the DiT class in the released inference code.
vae_decoder_x15.safetensors: Turbo-VAED decoder fine-tuned to upscale by 12 instead of 8, fp32, 40.7M parameters, 158 tensors. It decodes the same latents at 1.5x the output resolution and is loaded with --vae-x15.

Usage

from safetensors.torch import load_file
state_dict = load_file("model.safetensors")
dit.load_state_dict(state_dict, strict=True)

See the code repository linked in the paper for the model definition, the conditioning encoders and the sampling loop.

License

CC BY-NC 4.0, research use. Animating a real person without their consent is not permitted.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов: bd0c895