/ Модель

Характеристики

Лицензия
CC BY-NC 4.0
Опубликована
18 фев 2025

Uni-Sign

Компьютерное зрениеВидео, текст → текст

Uni-Sign преобразует видео с жестовым языком в текст и предназначена для задач понимания жестов.

0скачиваний за 30 дней9лайковвеса обновлены22 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Uni-Sign — модель для понимания жестового языка, веса которой опубликованы вместе с предварительно извлечёнными файлами поз для набора данных CSL-Daily. Она связана с работой «Uni-Sign: Toward Unified Sign Language Understanding at Scale». В метаданных Hugging Face основная задача указана как преобразование видео в текст (video-text-to-text), поэтому модель предназначена для получения текстового результата на основе видеоданных с жестами. Репозиторий содержит веса PyTorch и имеет лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

Сценарии применения

  • перевод видео с жестовым языком в текст
  • распознавание жестов на видео из набора CSL-Daily
  • исследование унифицированного понимания жестового языка

Ограничения

README сообщает о файлах поз для CSL-Daily, однако сведения о поддерживаемых языках жестов и количественных характеристиках модели отсутствуют. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Summary

Here, we provide the model weights for Uni-Sign and the pre-extracted pose files for the CSL-Daily dataset.

Paper: Uni-Sign: Toward Unified Sign Language Understanding at Scale

Code: https://github.com/ZechengLi19/Uni-Sign

Dataset: https://huggingface.co/datasets/ZechengLi19/CSL-News

Citation

@article{li2025uni,
  title={Uni-Sign: Toward Unified Sign Language Understanding at Scale},
  author={Li, Zecheng and Zhou, Wengang and Zhao, Weichao and Wu, Kepeng and Hu, Hezhen and Li, Houqiang},
  journal={arXiv preprint arXiv:2501.15187},
  year={2025}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
eab251b

0 моделей