/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
17,5 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_vl · dense
Библиотека
transformers
Опубликована
9 фев 2026

UI-Venus-1.5-8B

Изображение и текст → текст3 профессии

Визуально-языковой GUI-агент на базе Qwen3-VL для распознавания элементов интерфейса и выполнения инструкций в мобильных приложениях и веб-страницах.

2 056скачиваний за 30 дней29лайковвеса обновлены11 фев 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки1

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • likaixin/ScreenSpot-Pro

    score · выше — лучше

    Результат

    68,4

    eviews_windows 92word_macos 89,3vmware_macos 87,8
    Hugging Face Leaderboards

    Публичная таблицаревизия не подтверждена

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

UI-Venus-1.5-8B — визуально-языковая модель и GUI-агент от inclusionAI, созданный на базе Qwen3-VL. Она принимает скриншоты и текстовые инструкции, чтобы распознавать элементы интерфейса, определять их расположение и выполнять многошаговую навигацию по мобильным приложениям и веб-страницам. Модель прошла дообучение на данных GUI, обучение с подкреплением для задач привязки элементов и навигации, а затем была объединена со специализированными моделями. В карточке семейства указаны варианты 2B, 8B и 30B-A3B; репозиторий 8B содержит веса в формате safetensors и предназначен для запуска через Transformers и vLLM.

README сообщает о результатах на бенчмарках распознавания элементов интерфейса и навигации, включая AndroidWorld, AndroidLab, ScreenSpot-Pro и WebVoyager; отдельные результаты 8B приведены не для всех тестов. Модель поддерживает диалог и интерфейс вызова инструментов. Лицензия — Apache-2.0. README описывает работу с китайскими мобильными приложениями и веб-навигацией, но не заявляет полный перечень поддерживаемых языков; поэтому основной язык не выделяется.

Сценарии применения

  • нахождение кнопок и других элементов на скриншоте интерфейса
  • выполнение пользовательских инструкций в мобильных приложениях
  • многошаговая навигация по веб-страницам
  • привязка текстовой команды к элементу интерфейса
  • автоматизация действий в Android-сценариях

Ограничения

Показатели большинства бенчмарков приведены для семейства в целом или старшей версии, поэтому их нельзя напрямую считать результатами варианта 8B. README описывает навигацию по китайским мобильным приложениям, но не указывает полный перечень поддерживаемых языков.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

UI-Venus-1.5 model

This repository contains the UI-Venus model from the report UI-Venus-1.5 Technical Report. UI-Venus 1.5 is a unified, end-to-end GUI Agent designed for robust real-world applications. The model family includes two dense (2B/8B) and one MoE (30B-A3B) variants to meet various downstream scenarios.

License Report Website GitHub Hugging Face


Figure: Performance of UI-Venus 1.5 across multiple benchmarks. UI-Venus-1.5 achieves State-of-the-Art (SOTA) results on key grounding benchmarks (ScreenSpot-Pro, VenusBench-GD, OSWorld-G, UI-Vision) and agent benchmarks (AndroidWorld, AndroidLab, VenusBench-Mobile).

Model Description

Figure: The Four-Stage Training Pipeline of UI-Venus-1.5. Starting from the Qwen3-VL Series, the model undergoes a progressive training curriculum comprising: (1) Mid-Training with large-scale GUI data for domain knowledge injection; (2) Offline-RL with task-specific optimization across grounding, mobile, and web objectives; (3) Online-RL to further enhance navigation capabilities in complex, real-world scenarios; and (4) Model Merge to unify the specialized models into the final UI-Venus-1.5.

Compared to our previous version(UI-Venus 1.0), UI-Venus-1.5 introduces three key technical advances:

  • Mid-Training Stage: 10B tokens across 30+ datasets for foundational GUI semantics
  • Online RL: Full-trajectory rollouts for long-horizon dynamic navigation
  • Model Merging: Unified agent combining grounding, web, and mobile specialists

Extensive evaluations demonstrate that UI-Venus-1.5 establishes new state-of-the-art performance on benchmarks such as ScreenSpot-Pro (69.6), VenusBench-GD (75.0), and AndroidWorld (77.6), significantly outperforming previous strong baselines. In addition, UI-Venus-1.5 demonstrates robust navigation capabilities across 40+ Chinese mobile apps, effectively executing user instructions in real-world scenarios.

Quick Start

You can deploy the model using vLLM (requires vllm>=0.11.0 and transformers>=4.57.0):

# Install vLLM
pip install vllm

# Start vLLM API server
python -m vllm.entrypoints.openai.api_server \
    --model inclusionAI/UI-Venus-1.5-8B \
    --served-model-name UI-Venus-1.5-8B \
    --host 0.0.0.0 \
    --port 8000 \
    --tensor-parallel-size 1 \
    --trust-remote-code

The model will be served at http://localhost:8000/v1.

Results

Grounding

  • Strong Overall Grounding: UI-Venus-1.5-30B-A3B achieves state-of-the-art results on most benchmarks, leading VenusBench-GD (75.0%), ScreenSpot-Pro (69.6%), OSWorld-G-R (76.4%), OSWorld-G (70.6%), and UI-Vision (54.7%), while remaining highly competitive on ScreenSpot-V2 (96.2%, second-best, 0.3% behind MAI-UI-32B).
  • Consistent Scaling Gains: Increasing model scale yields steady improvements across all benchmarks (e.g., ScreenSpot-Pro: 57.7% -> 68.4% -> 69.6% for 2B/8B/30B-A3B).
  • Broad Generalization Across Tasks: UI-Venus shows robust performance on diverse grounding settings, from refusal-aware evaluation in VenusBench-GD to fine-grained professional UI layouts in ScreenSpot-Pro, and remains competitive on instruction-intensive MMBench (88.6%).

Mobile Navigation

  • Superior End-to-End Performance: UI-Venus-1.5-30B-A3B achieves state-of-the-art or comparable results across a diverse range of GUI agent benchmarks, including Android World (77.6%), Android Lab (55.1%/68.1%), VenusBench-Mobile (21.5%), and WebVoyager (76.0%). It consistently outperforms both specialized GUI models (e.g., MAI-UI-32B) and leading general-purpose VLMs (e.g., GPT-4o, Qwen3-VL), establishing a new performance ceiling for autonomous agents.
  • Significant Architectural Efficiency and Scaling: Increasing the model scale leads to consistent performance gains across all benchmarks. Notably, the UI-Venus-1.5 family exhibits remarkable efficiency; our 8B model already surpasses the previous generation's 72B variant on both Android Lab (up to 5.8% improvement) and VenusBench-Mobile (16.1% vs. 15.4%), demonstrating the effectiveness of our updated training methodology.
  • Robust Cross-Platform Generalization: UI-Venus demonstrates exceptional adaptability across different operating systems and input modalities. It excels not only in programmatic Android environments but also in dynamic web navigation (WebVoyager). Furthermore, the models show strong visual-only reasoning capabilities, outperforming XML-augmented baselines in Android Lab even when relying solely on raw screenshots.

Browser Navigation

Citation

Please consider citing if you find our work useful:

@misc{venusteam2026uivenus15technicalreport,
      title={UI-Venus-1.5 Technical Report}, 
      author={Venus Team and Changlong Gao and Zhangxuan Gu and Yulin Liu and Xinyu Qiu and Shuheng Shen and Yue Wen and Tianyu Xia and Zhenyu Xu and Zhengwen Zeng and Beitong Zhou and Xingran Zhou and Weizhi Chen and Sunhao Dai and Jingya Dou and Yichen Gong and Yuan Guo and Zhenlin Guo and Feng Li and Qian Li and Jinzhen Lin and Yuqi Zhou and Linchao Zhu and Liang Chen and Zhenyu Guo and Changhua Meng and Weiqiang Wang},
      year={2026},
      eprint={2602.09082},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2602.09082}, 
    }

@misc{gu2025uivenustechnicalreportbuilding,
      title={UI-Venus Technical Report: Building High-performance UI Agents with RFT}, 
      author={Zhangxuan Gu and Zhengwen Zeng and Zhenyu Xu and Xingran Zhou and Shuheng Shen and Yunfei Liu and Beitong Zhou and Changhua Meng and Tianyu Xia and Weizhi Chen and Yue Wen and Jingya Dou and Fei Tang and Jinzhen Lin and Yulin Liu and Zhenlin Guo and Yichen Gong and Heng Jia and Changlong Gao and Yuan Guo and Yong Deng and Zhenyu Guo and Liang Chen and Weiqiang Wang},
      year={2025},
      eprint={2508.10833},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2508.10833}, 
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3VLForConditionalGeneration
Ревизия весов
a06ff6c

0 моделей