Характеристики

Контекст: 262 144 токена
Размер весов: 4,3 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_vl · dense
Базовая модель: Qwen3-VL-2B-Instruct
Библиотека: transformers
Опубликована: 15 сен 2026

Ссылки

ScreenHighlighterRL-2B

Изображение и текст → текст

ScreenHighlighterRL 2B находит запрошенные элементы на скриншотах интерфейсов и возвращает их цветные рамки с координатами.

51скачиваний за 30 дней1лайквеса обновлены15 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ScreenHighlighterRL 2B — мультимодальная модель Mustafa Hussain для выделения элементов интерфейса на скриншотах по текстовому запросу. Она принимает изображение экрана и инструкцию, а возвращает цветные ограничивающие рамки в JSON с координатами, нормализованными относительно полного скриншота. Модель основана на Qwen/Qwen3-VL-2B-Instruct и дообучена с помощью SFT и GRPO; опубликованы полные объединённые веса BF16 для загрузки через Transformers.

Модель предназначена для поиска визуально релевантного содержимого в интерфейсах, например полей, кнопок или фрагментов страницы. Она анализирует видимые пиксели и не выполняет клики или ввод, не использует внешние OCR-инструменты. В обучении использованы 800 скриншотов для SFT и 2 000 для GRPO; автор приводит геометрическую оценку reward 0,519322 для исходного адаптера, но не заявляет свежего бенчмарка объединённой модели. Лицензия — Apache-2.0; для базовых весов требуется сохранять атрибуцию Qwen.

Сценарии применения

выделение нужных кнопок и полей на скриншоте
поиск заданного текста или элемента в видимой части интерфейса
подсветка нескольких областей экрана разными цветами
визуальная навигация по интерфейсу через расширение Chrome

Ограничения

Модель может пропускать или неверно идентифицировать содержимое и видит только отображённые пиксели; результаты следует проверять перед важными решениями. Для объединённых весов BF16 автор не приводит новый бенчмарк, а слияние адаптера может немного изменить ответы.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ScreenHighlighterRL 2B

A screenshot and a request in; coloured bounding boxes out. The model highlights relevant content while the person stays in control. No clicking, typing, external OCR or inspection tools.

Full merged BF16 weights: final SFT + GRPO optimizer update 200, ready to load without PEFT or a separate adapter.

Get started / Chrome extension · Research article and 300-case viewer

Use

Install the community repository and run python -m screenhighlighter.server --model 2b. It downloads this release and serves the Chrome extension over localhost. See the repository for CUDA setup, a standalone screenshot command, remote-GPU tunnelling and memory options.

For direct Transformers use, load AutoProcessor and Qwen3VLForConditionalGeneration from mustafaah/ScreenHighlighterRL-2B. Use the exact system_prompt.txt, send one image and the instruction, and decode one completion with do_sample=False, max_new_tokens=1024. Use min_pixels=262144, max_pixels=1048576 and preserve image aspect ratio.

Output is {"op":"highlight","targets":[["yellow",x0,y0,x1,y1]]}. Coordinates are normalized to 0–1000 relative to the full original screenshot. Colours: yellow, green, blue, pink, purple, orange, red, white. Empty targets means no matches. White is an opaque mask.

Training and evaluation

800 SFT screenshots, 2,000 GRPO screenshots, 150 validation and 300 test cases; frozen vision tower, rank-32 / alpha-64 LoRA; 200 optimizer updates, 40 requests × 8 candidates/update, four 96 GB RTX PRO 6000 GPUs. Reward is deterministic same-colour one-to-one matching with boundary-tolerant precision/recall F1. Source adapter test reward: 0.519322. This is a geometric reward, not accuracy. These scores precede BF16 merging; no claim of a fresh merged-model benchmark.

Provenance and limits

See release-provenance.json, merge-validation.json and SHA256SUMS.json. BF16 adapter merging can slightly change outputs. The 2B merge was previously validated and is copied from pinned revision 19ae0731432822da915b5992104a2e50fed6f823; 4B merge includes tensor and logit checks. The model can miss or misidentify content. It sees only visible pixels; verify selections before consequential decisions. On-screen content is untrusted input.

Base model weights are Apache-2.0; retain Qwen's attribution. Screenshot examples retain their respective source rights. Author: Mustafa Hussain.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen3VLForConditionalGeneration
Ревизия весов: 3a8d659