/ Модель

Характеристики

Лицензия
MIT
Библиотека
diffusers
Опубликована
30 июл 2026

isl-conditional-diffusion-cosine-128

Генерация изображенийТекст → изображение

Условная DDPM-модель генерирует изображения жестов индийского жестового языка размером 128 × 128 по одному из 35 классов.

10скачиваний за 30 дней0лайковвеса обновлены18 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель mahadev-balla/isl-conditional-diffusion-cosine-128 — условная диффузионная модель, обученная с нуля для генерации изображений жестов индийского жестового языка (ISL). Она разработана с использованием библиотеки Diffusers и архитектуры DDPM с UNet2D: создаёт RGB-изображения размером 128 × 128 для одного из 35 классов ISL и поддерживает classifier-free guidance. Для обучения использованы 42 000 изображений; при генерации по умолчанию применяется DDIM с 100 шагами, а EMA-веса помогают стабилизировать результат.

Модель подходит для создания примеров жестов по заданному классу, пополнения наборов изображений и экспериментов с синтезом данных для распознавания ISL. В README сообщается о семантической точности 94% и FID 86,73 при guidance scale 3.0. Это генератор изображений, а не система распознавания жестов; качество и применимость синтетических изображений следует оценивать для конкретного сценария. Лицензия — MIT.

Сценарии применения

  • генерация изображения жеста ISL заданного класса
  • создание синтетических примеров жестов для набора данных
  • пополнение обучающего датасета изображениями жестов
  • визуализация классов индийского жестового языка
  • эксперименты с условной диффузионной генерацией

Ограничения

Модель генерирует только изображения жестов из 35 классов ISL и не распознаёт жесты. В README указана семантическая точность 94% и FID 86,73 при guidance scale 3.0; результаты относятся к описанной настройке оценки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ISL Conditional Diffusion

A class-conditioned DDPM trained from scratch to generate 128×128 RGB images of Indian Sign Language hand gestures.

The model uses class conditioning on one of 35 ISL classes and supports classifier-free guidance during sampling.

The complete implementation and experiments are available in the GitHub repository.

Model

  • DDPM with UNet2D architecture
  • 128×128 resolution
  • RGB images
  • Class-conditional generation
  • 35 ISL classes
  • Classifier-free guidance (CFG)
  • EMA weights

Training

  • Dataset: 42,000 images (1,200 images per class × 35 classes)
  • Noise schedule: cosine
  • Batch size: 64
  • Learning rate: 1e-4
  • Mixed precision: fp16
  • Training steps: 65,000
  • EMA decay: 0.9999
  • CFG label dropout: 0.15
  • Data augmentation: enabled

Sampling

  • Default sampler: DDIM
  • Training diffusion timesteps: 1,000
  • Routine inference steps: 100
  • Evaluation inference steps: 50
  • Default guidance scale: 3.0
  • Random seed: 42

Results

At the FID-optimal guidance scale of 3.0:

  • FID: 86.73
  • Semantic accuracy: 94.0%

The model provides reliable class control. Under the reported evaluation setting, its FID is comparable to the unconditional baseline.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · diffusers

Нельзя запустить

Безусловная генерация изображений пока не поддерживается.

Ревизия весов
6454d92

0 моделей