/ Модель

Характеристики

Лицензия
MIT
Опубликована
1 сен 2024

Vec2Face

Генерация изображенийТекст → изображение

Vec2Face генерирует синтетические изображения лиц для создания масштабных обучающих наборов данных для распознавания лиц.

0скачиваний за 30 дней5лайковвеса обновлены15 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Vec2Face — модель генерации синтетических лиц, представленная BooBooWu для создания масштабных наборов данных, предназначенных для обучения и оценки распознавания лиц. В репозитории находятся веса генератора Vec2Face и связанные веса 6DRepNet, ArcFace и MagFace; README описывает построение синтетических наборов HSFace10K и более крупных вариантов вплоть до сотен тысяч идентичностей и миллионов изображений.

Модель предназначена для генерации изображений лиц без заданного входного изображения и для формирования синтетических обучающих данных. В карточке сообщается о результатах на стандартных тестах распознавания лиц и о масштабировании наборов данных. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Подробности архитектуры генератора и поддерживаемые языки в карточке не описаны.

Сценарии применения

  • создание синтетических изображений лиц для обучения распознавателей
  • масштабирование наборов данных по идентичностям и изображениям
  • сравнение качества синтетических наборов на тестах распознавания лиц

Ограничения

Карточка не приводит подробного описания архитектуры и ограничений генератора; заявленные результаты относятся к конкретным наборам данных и тестам распознавания лиц.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Vec2Face Model Card

Project Page | Paper | Code | 🤗 Gradio demo

Introduction

Vec2Face is the first model that achieves the generated synthetic face recognition dataset (HSFace10K) first being higher than the same-scale real dataset (CASIA-WebFace).

Usage

You can directly download the model in this repository. You also can download the model in python script:

from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="BooBooWu/Vec2Face", filename="weights/6DRepNet_300W_LP_AFLW2000.pth", local_dir="./")
hf_hub_download(repo_id="BooBooWu/Vec2Face", filename="weights/arcface-r100-glint360k.pth", local_dir="./")
hf_hub_download(repo_id="BooBooWu/Vec2Face", filename="weights/magface-r100-glint360k.pth", local_dir="./")
hf_hub_download(repo_id="BooBooWu/Vec2Face", filename="weights/vec2face_generator.pth", local_dir="./")

For the image generation and training code, please go to Vec2Face github repository.

Performance

Datasets in 0.5M scale

This table compares the existing synthetic dataset generation methods on five standard face recognition test sets. The model trained with HSFace10K has better performance on CALFW than that trained with real dataset.

Training sets# imagesLFWCFP-FPCPLFWAgeDBCALFWAvg.
IDiff-Face0.5M98.0085.4780.4586.4390.6588.20
DCFace0.5M98.5585.3382.6289.7091.6089.56
Arc2Face0.5M98.8191.8785.1690.1892.6391.73
DigiFace1M95.4087.4078.8776.9778.6283.45
SynFace0.5M91.9375.0370.4361.6374.7374.75
SFace0.6M91.8773.8673.2071.6877.9377.71
IDnet0.5M92.5875.4074.2563.8879.9079.13
ExFaceGAN0.5M93.5073.8471.6078.9282.9880.17
SFace20.6M95.6077.1174.6077.3783.4081.62
Langevin-Disco0.6M96.6073.8974.7780.7087.7782.75
HSFace10K(Ours)0.5M98.8788.9785.4793.1293.5792.00
CASIA-WebFace (Real)0.49M99.3896.9189.7894.5093.3594.79

###Dataset Scaling up to 300K identities and 15M images

This is the uniqueness of the proposed Vec2Face, which can easily scale the dataset size up.

Datasets# imagesLFWCFP-FPCPLFWAgeDBCALFWAvg.
HSFace10K0.5M98.8788.9785.4793.1293.5792.00
HSFace20K1M98.8789.8786.1393.8593.6592.47
HSFace100K5M99.2590.3686.7594.3894.1292.97
HSFace200K10M99.2390.8187.3094.2294.5293.22
HSFace300K15M99.3091.5487.7094.4594.5893.52
CASIA-WebFace (Real)0.49M99.3896.9189.7894.5093.3594.79

Other challenging test sets

We test the model performance on other four datasets, Hadrian (facial hair), Eclipse (face exposure), SLLFW (similar-looking), and DoppelVer (doppelganger).

DatasetsHadrianEclipseSLLFWDoppelVer
HSFace10K69.4764.5592.8786.91
HSFace20K75.2267.5594.3788.91
HSFace100K80.0070.3595.5890.39
HSFace200K79.8571.1295.7089.86
HSFace300K81.5571.3595.9590.49
CASIA-WebFace (Real)77.8268.5296.9595.11

Citation

@article{wu2024vec2face,
  title={Vec2Face: Scaling Face Dataset Generation with Loosely Constrained Vectors},
  author={Wu, Haiyu and Singh, Jaskirat and Tian, Sicong and Zheng, Liang and Bowyer, Kevin W},
  journal={arXiv preprint arXiv:2409.02979},
  year={2024}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Безусловная генерация изображений пока не поддерживается.

Ревизия весов
2f27572

0 моделей