This is the first VideoLLM with powerful GUI-oriented capabilities, retrained on GUI-World.
It was presented in GUI-WORLD: A Dataset for GUI-oriented Multimodal LLM-based Agents.
See Github for how to use GUI-Vid for GUI understanding tasks.
GUI-Vid
Компьютерное зрениеВидео, текст → текст
GUI-Vid — видеоязыковая модель для понимания графических интерфейсов и поддержки GUI-агентов.
0скачиваний за 30 дней6лайковвеса обновлены26 мар 2025
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
GUI-Vid — видеоязыковая модель лаборатории ONE-Lab для понимания графического интерфейса. Авторы описывают её как первую VideoLLM с возможностями, ориентированными на GUI; модель повторно обучена на наборе данных GUI-World и представлена в работе о мультимодальных агентах для GUI.
Модель предназначена для задач понимания интерфейса по видео и сценариев GUI-агентов. Метаданные указывают задачу video-text-to-text, язык карточки — английский, формат весов — PyTorch. Лицензия — CC BY 4.0. Подробности об архитектуре, размере, контексте и конкретных ограничениях карточка не приводит.
Сценарии применения
- понимание действий и изменений в интерфейсе по видео
- анализ видеозаписи взаимодействия с графическим интерфейсом
- поддержка GUI-агента при интерпретации экранного видео
Ограничения
Карточка не приводит измерений качества или подробностей о поддерживаемых типах GUI-задач. Указание на повторное обучение на GUI-World не раскрывает состав обучения и ограничения модели.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
В репозитории нет config.json: не понять архитектуру модели.
- Ревизия весов
- f476b8b