OpenCUA-7B — мультимодальная модель на базе Qwen2.5-VL-7B-Instruct, которая анализирует снимки интерфейса и генерирует действия для управления компьютером.

Подходит для: выполнение многошаговых задач в графическом интерфейсе компьютера · поиск кнопок и полей на снимке экрана с выдачей координат · автоматизация действий в Ubuntu, Windows и macOS

SwiftFormer-XS — компактная модель MBZUAI для классификации изображений, использующая эффективный механизм внимания для мобильного компьютерного зрения.

Подходит для: классификация изображений ImageNet-1K · распознавание объектов на мобильных устройствах · быстрая классификация изображений при ограниченных вычислительных ресурсах

UI-Mate-9B — мультимодальный GUI-агент Tencent для выполнения задач на компьютере по инструкциям и снимкам экрана с выдачей действий мышью и клавиатурой.

Подходит для: выполнение последовательности действий в настольных приложениях · управление интерфейсом по снимкам экрана и текстовой инструкции · автоматизация задач в нескольких приложениях

Мультимодальный агент Tencent для выполнения многошаговых задач на компьютере по инструкциям и скриншотам с выдачей структурированных действий мыши и клавиатуры.

Подходит для: выполнение многошаговых задач в настольных приложениях · управление интерфейсами Windows по скриншотам · автоматизация действий в приложениях Ubuntu

AutoGLM-Phone-9B — мультимодальная модель для понимания экранов Android и поддержки автоматизации задач на смартфоне через Phone Agent.

Подходит для: выполнение заданий на смартфоне по текстовой команде · поиск информации в мобильных приложениях · навигация по интерфейсу Android по снимкам экрана

UI-Venus-1.5-2B — мультимодальная модель на базе Qwen3-VL для понимания графических интерфейсов и выполнения задач GUI-агента.

Подходит для: поиск нужной кнопки или поля на скриншоте приложения · навигация по мобильному приложению по текстовой инструкции · выполнение многошагового сценария в графическом интерфейсе

Мультимодальный GUI-агент на базе Qwen3-VL-4B, который анализирует экраны и помогает выполнять многошаговые задачи в приложениях.

Подходит для: Навигация по интерфейсу мобильного приложения по скриншоту · Нажатие на элементы и ввод текста по инструкции · Выполнение цепочки действий в приложениях для покупок

Визуально-языковой GUI-агент на базе Qwen3-VL для распознавания элементов интерфейса и выполнения инструкций в мобильных приложениях и веб-страницах.

Подходит для: нахождение кнопок и других элементов на скриншоте интерфейса · выполнение пользовательских инструкций в мобильных приложениях · многошаговая навигация по веб-страницам

Мультимодальная модель Zhipu AI анализирует экран Android и поддерживает автоматизацию действий на смартфоне по запросам на естественном языке.

Подходит для: автоматизация поиска информации в приложениях Android · выполнение многошаговых задач через интерфейс смартфона · анализ снимка экрана для выбора следующего действия

Мультимодальный агент ByteDance Seed на базе Qwen2-VL для понимания экранов и автоматизации действий в графических интерфейсах.

Подходит для: поиск кнопок и элементов управления на скриншоте · выполнение инструкций в веб-интерфейсе · автоматизация действий в мобильных приложениях

Мультимодальный GUI-агент inclusionAI, который понимает скриншоты и текстовые инструкции и выполняет навигацию в мобильных и веб-интерфейсах.

Подходит для: поиск нужной кнопки или элемента на скриншоте интерфейса · выполнение пошаговых инструкций в мобильном приложении · автоматизация действий в веб-интерфейсе

Мультимодальная модель Jan на базе Qwen3-VL для быстрой многошаговой автоматизации браузеров и настольных приложений по скриншотам и инструкциям.

Подходит для: пошаговое управление браузером по скриншотам · автоматизация действий в настольных приложениях · выполнение длинных цепочек действий с заданным планом

Компактная мультимодальная модель Suprem Org для GUI-агентов, навигации по интерфейсам и вызова инструментов на локальных устройствах.

Подходит для: управление элементами веб-страниц по скриншоту · автоматизация действий на рабочем столе · навигация по графическому интерфейсу приложений

32-миллиардная модель для программной инженерии, дообученная для использования в кодовых агентах, совместимых с SWE-agent.

Подходит для: создание агента для решения задач в репозиториях кода · генерация кода по инструкциям · анализ исходного кода в рамках задач программной инженерии

Qwen-CUA анализирует скриншоты и выдаёт действия мыши и клавиатуры для разработки и оценки GUI-агентов.

Подходит для: автоматизация браузера по скриншотам и текстовой инструкции · выполнение многошаговых задач в графическом интерфейсе · исследование визуального позиционирования элементов интерфейса

UI-TARS-7B-SFT — визуально-языковая модель ByteDance для понимания экранов и автоматизации действий в графических интерфейсах.

Подходит для: поиск кнопок и полей на скриншоте · выполнение пошаговых задач в веб-интерфейсе · управление мобильными приложениями по скриншоту

Компактная модель AskUI на базе Florence-2, которая находит элементы интерфейса на скриншотах для автоматизации компьютеров и телефонов.

Подходит для: поиск кнопки или другого элемента интерфейса по описанию · определение рамки элемента на скриншоте · автоматизация взаимодействия с компьютерными интерфейсами

Визуально-языковой агент ZhipuAI для понимания скриншотов интерфейсов и выполнения задач на компьютере по текстовым инструкциям.

Подходит для: понимание элементов графического интерфейса по скриншоту · выполнение задач в компьютерных приложениях по инструкции · выбор следующего действия в последовательности взаимодействий с интерфейсом

Компактная модель SwiftFormer-S классифицирует изображения и рассчитана на быстрое применение в мобильных системах компьютерного зрения.

Подходит для: классификация объектов на фотографиях · распознавание категорий изображений на мобильном устройстве · автоматическая разметка изображений по классам

Мультимодальный агент для управления Android-интерфейсами по снимку экрана и текстовой инструкции.

Подходит для: выполнение последовательности действий в Android-приложении · нажатие на элементы интерфейса по их расположению · прокрутка экранов мобильного приложения

Мультимодальная модель для GUI-агентов, которая анализирует экран и предлагает рассуждение и следующий шаг взаимодействия с интерфейсом.

Подходит для: выбор кнопки или другого элемента на экране по инструкции · генерация следующего действия GUI-агента · выполнение отдельных шагов в интерфейсе приложений

ShowUI-π — модель Vision-Language-Action на основе SmolVLA для предсказания траекторий перетаскивания в GUI по снимку экрана и текстовой инструкции.

Подходит для: перетаскивание элементов интерфейса по текстовой команде · автоматизация операций drag-and-drop в графическом интерфейсе · управление GUI-агентом по снимку экрана

Компактная мультимодальная модель для выполнения действий в компьютерных и мобильных интерфейсах по снимку экрана и текстовой инструкции.

Подходит для: нажатие кнопки по её расположению на снимке экрана · ввод текста в поле интерфейса · управление интерфейсом через последовательность щелчков и нажатий клавиш

Компактная VLM для управления графическими интерфейсами, которая преобразует снимки экрана и текстовые команды в структурированные действия с координатами.

Подходит для: нажатие кнопок по команде на снимке экрана · автоматизация действий в компьютерном интерфейсе · управление элементами интерфейса смартфона