/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
17,5 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_vl · dense
Базовая модель
Qwen3-VL-8B-Thinking
Библиотека
transformers
Опубликована
4 июл 2026

Qwen3-VL-8B-Thinking-UI-MOPD-Student

Изображение и текст → текст3 профессии

Мультимодальная модель-агент на базе Qwen3-VL для выполнения задач в графических интерфейсах настольных и мобильных устройств.

26скачиваний за 30 дней1лайквеса обновлены7 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Qwen3-VL-8B-Thinking-UI-MOPD-Student — мультимодальная модель-агент для управления графическим интерфейсом, разработанная в проекте UI-MOPD. Это дообученная на базе Qwen/Qwen3-VL-8B-Thinking плотная модель Qwen3-VL с визуальным вводом и текстовым диалоговым интерфейсом. Она обучалась методом дистилляции с несколькими учителями и подкреплением: отдельные учителя для настольной и мобильной платформ передавали модели навыки с учётом типа платформы.

Модель предназначена для выполнения задач в интерфейсах компьютеров и мобильных устройств: навигации по сайтам и приложениям, управления настройками и работы с файлами. В README приведены результаты на тестах OSWorld и MobileWorld, а также проверках визуального понимания и привязки к элементам интерфейса. Метаданные указывают поддержку английского и китайского языков и лицензию Apache-2.0. Результаты зависят от среды и протокола оценки; приведённые показатели не гарантируют успешного выполнения произвольных задач.

Сценарии применения

  • навигация по сайтам и веб-приложениям
  • управление файлами через графический интерфейс компьютера
  • переходы по экранам мобильных приложений
  • изменение настроек на компьютере и мобильном устройстве
  • визуальная привязка команд к элементам интерфейса

Ограничения

В README указаны результаты успешного выполнения 38,2% задач OSWorld и 12,0% задач MobileWorld; качество заметно различается между тестами и может быть ограничено сложностью взаимодействия с конкретной средой.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3-VL-8B-Thinking-UI-MOPD-Student

This is the Student model from the UI-MOPD project — a cross-platform GUI agent trained via multi-teacher on-policy distillation for continual GUI agent learning.

Model Description

Qwen3-VL-8B-Thinking-UI-MOPD-Student is trained from Qwen3-VL-8B-Thinking using the UI-MOPD framework. It learns from two platform-specific 32B teachers (Desktop Teacher and Mobile Teacher) through reinforcement learning with platform-conditioned distillation, achieving balanced cross-platform performance on both desktop and mobile environments.

Key Highlights

  • Base Model: Qwen3-VL-8B-Thinking
  • Training Method: Multi-teacher on-policy distillation with DAPO + platform-conditioned KL regularization
  • Teachers: Qwen3-VL-32B-Thinking-Desktop-Teacher + Qwen3-VL-32B-Thinking-Mobile-Teacher
  • OSWorld Performance: 38.2% task success rate
  • MobileWorld Performance: 12.0% task success rate

Training Details

This model is obtained in Stage 2 of the UI-MOPD training pipeline:

  1. Stage 1: Supervised fine-tuning of Qwen3-VL-32B-Thinking on platform-specific data to produce a Desktop Teacher (46.3% on OSWorld) and a Mobile Teacher (16.2% on MobileWorld).
  2. Stage 2 (This Model): The 8B student is trained with reinforcement learning (DAPO) combined with multi-teacher on-policy distillation. A platform-conditioned router selects the appropriate teacher based on the current environment, and adaptive KL masking prevents over-regularization.

Key Training Components

  • Platform-Conditioned Routing: Routes each rollout to the corresponding platform-specific teacher
  • K3 Estimator: Efficient single-sample KL divergence estimator
  • Adaptive KL Masking: Removes teacher penalty when task reward is already sufficient

Performance

MethodOSWorld (Desktop)MobileWorld (Mobile)
Qwen3-VL-8B-Thinking (base)33.9%7.7%
Mixed-SFT35.0%6.4%
Model Merge (TIES)36.8%0%
UI-MOPD (this model)38.2%12.0%

UI-MOPD achieves state-of-the-art balanced cross-platform performance, with +12.7% relative improvement on OSWorld and +55.8% on MobileWorld compared to the base model.

GUI Grounding & Understanding

ModelAndroidControlScreenSpot-ProScreenSpotV2OSWorld-G
Qwen3-VL-8B-Thinking (base)78.73%43.71%91.27%52.13%
Model Merge (TIES)74.01%37.13%88.60%47.16%
UI-MOPD (this model)80.05%43.14%90.88%52.84%

UI-MOPD preserves GUI grounding and visual understanding capabilities while improving interactive task performance.

Intended Use

  • Cross-platform GUI agent for executing tasks on both desktop (e.g., web browsing, file management) and mobile (e.g., app navigation, settings control) environments
  • Research on continual learning and multi-platform adaptation for GUI agents

How to Use

from transformers import Qwen3VLForConditionalGeneration, AutoProcessor

model = Qwen3VLForConditionalGeneration.from_pretrained(
    "UI-MOPD/Qwen3-VL-8B-Thinking-UI-MOPD-Student",
    torch_dtype="auto",
    device_map="auto",
)
processor = AutoProcessor.from_pretrained("UI-MOPD/Qwen3-VL-8B-Thinking-UI-MOPD-Student")

Citation

@misc{lian2026uimopdmultiplatformonpolicydistillation,
      title={UI-MOPD: Multi-Platform On-Policy Distillation for Continual GUI Agent Learning}, 
      author={Niu Lian and Alan Chen and Zhehao Yu and Chengzhen Duan and Fazhan Liu and Hui Liu and Pei Fu and Jian Luan and Yaowei Wang and Shu-Tao Xia and Jinpeng Wang},
      year={2026},
      eprint={2607.04425},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2607.04425}, 
}

Related Resources

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3VLForConditionalGeneration
Ревизия весов
3e6acbe

0 моделей