/ Модель

Характеристики

Лицензия
Своя лицензия
Библиотека
pytorch
Опубликована
2 окт 2026

PC-Talk

Видео из изображенияИзображение, текст → видео

PC-Talk — набор весов для генерации видео говорящего лица по аудио с управлением эмоциями, артикуляцией и стилем.

0скачиваний за 30 дней0лайковвеса обновлены2 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PC-Talk — набор контрольных точек для системы генерации говорящего лица по аудио, описанной в работе «Precise Facial Animation Control for Audio-Driven Talking Face Generation» для CVPR 2026. Репозиторий содержит 12 файлов весов общим объёмом около 920 МБ, включая компоненты для управления эмоциями и стилем, а также веса LivePortrait и анализа лица. Для запуска нужны исходный код PC-Talk и его inference-бэкенд; это не модель в формате Transformers.

Система предназначена для анимации лица на основе аудио с настройкой эмоций и артикуляции и использованием референсного стиля. Метаданные указывают формат ONNX, а README также описывает контрольные точки PyTorch. Лицензия указана как other: условия отдельных сторонних компонентов сохраняются; в частности, ресурсы InsightFace ограничены некоммерческим исследовательским использованием и должны быть заменены для коммерческого развёртывания.

Сценарии применения

  • анимация лица на статичном изображении под речь
  • создание видео говорящего аватара по аудиозаписи
  • настройка эмоций анимированного лица
  • управление артикуляцией в синтезированном видео
  • перенос референсного стиля на анимацию лица

Ограничения

Для инференса необходим исходный код PC-Talk и соответствующий бэкенд; репозиторий не содержит готовой модели Transformers. Веса InsightFace ограничены некоммерческим исследовательским использованием, а сторонние компоненты имеют собственные условия лицензирования.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PC-Talk — CVPR 2026 Checkpoints

Runtime checkpoints for PC-Talk: Precise Facial Animation Control for Audio-Driven Talking Face Generation.

Download

Clone the source code and download the checkpoints directly into their runtime location:

git clone https://github.com/BQ-Wang0511/PC-Talk.git
cd PC-Talk
pip install -U huggingface_hub
hf download doubi-killer/PC-Talk --local-dir pctalk/checkpoints

The repository contains 12 model files (about 920 MB), preserving the layout expected by PC-Talk:

audio_encoder.pth
lac.pth
emc.pth
style_encoder.pth
liveportrait/
├── landmark.onnx
├── base_models/
│   ├── appearance_feature_extractor.pth
│   ├── motion_extractor.pth
│   ├── spade_generator.pth
│   └── warping_module.pth
└── retargeting_models/
    └── stitching_retargeting_module.pth
insightface/models/buffalo_l/
├── 2d106det.onnx
└── det_10g.onnx

lac.pth includes both the LAC model and its refinement model. EMC is used for emotion control; the style encoder is used for reference-style input. The LivePortrait and face-analysis weights are included for the inference backend.

The original SHA256SUMS manifest uses paths relative to the source-code repository root. After downloading, verify the files from that root:

sha256sum -c pctalk/checkpoints/SHA256SUMS

These are downloadable inference assets, not a Transformers-format model. Use the PC-Talk source code to run inference. See its README for installation, image/video examples, emotion controls and articulation settings.

Usage terms and safety

The source-code license does not automatically license every model weight. Third-party components retain their upstream terms:

In particular, the InsightFace model assets are restricted to non-commercial research use and must be replaced for commercial deployment. Consult the upstream licenses and the source repository's third-party notices before use. Only load PyTorch checkpoints from trusted sources.

Citation

@inproceedings{wang2026pc,
  title={PC-Talk: Precise Facial Animation Control for Audio-Driven Talking Face Generation},
  author={Wang, Baiqin and Zhu, Xiangyu and Shen, Fan and Xu, Hao and Lei, Zhen},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={25153--25162},
  year={2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов
e622081

0 моделей