Характеристики

Контекст: 262 144 токена
Размер весов: 8,9 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_vl · dense
Базовая модель: Qwen3-VL-4B-Instruct
Библиотека: transformers
Опубликована: 15 сен 2026

Ссылки

ScreenHighlighterRL-4B

Изображение и текст → текст

Мультимодальная модель на базе Qwen3-VL-4B-Instruct, которая находит нужные элементы интерфейса на скриншоте и возвращает их цветные рамки.

35скачиваний за 30 дней0лайковвеса обновлены15 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ScreenHighlighterRL 4B — мультимодальная модель Mustafa Hussain для выделения областей на снимках экрана по текстовому запросу. Она принимает изображение экрана и инструкцию, а возвращает цветные ограничивающие рамки в JSON; модель не кликает, не вводит текст и не использует внешние инструменты OCR или анализа экрана.

Модель основана на Qwen3-VL-4B-Instruct и дообучена с помощью SFT и GRPO; опубликованы объединённые веса BF16, которые загружаются без отдельного адаптера. Координаты рамок нормированы к диапазону 0–1000 относительно исходного снимка. В обучении использовались 800 примеров SFT и 2 000 примеров GRPO. Лицензия — Apache-2.0; для базовых весов требуется сохранять атрибуцию Qwen.

Сценарии применения

выделение нужных кнопок и элементов интерфейса на скриншоте
поиск заданного текста или объекта на экране
подготовка скриншота с цветными рамками для проверки человеком
выделение областей экрана по текстовой инструкции

Ограничения

Модель может пропускать или неверно определять содержимое и видит только пиксели, отображённые на скриншоте; результаты следует проверять перед важными решениями. Указанная оценка относится к тестированию исходного адаптера, а не к отдельному бенчмарку объединённых весов BF16.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ScreenHighlighterRL 4B

A screenshot and a request in; coloured bounding boxes out. The model highlights relevant content while the person stays in control. No clicking, typing, external OCR or inspection tools.

Full merged BF16 weights: final SFT + GRPO optimizer update 200, ready to load without PEFT or a separate adapter.

Get started / Chrome extension · Research article and 300-case viewer

Use

Install the community repository and run python -m screenhighlighter.server --model 4b. It downloads this release and serves the Chrome extension over localhost. See the repository for CUDA setup, a standalone screenshot command, remote-GPU tunnelling and memory options.

For direct Transformers use, load AutoProcessor and Qwen3VLForConditionalGeneration from mustafaah/ScreenHighlighterRL-4B. Use the exact system_prompt.txt, send one image and the instruction, and decode one completion with do_sample=False, max_new_tokens=1024. Use min_pixels=262144, max_pixels=1048576 and preserve image aspect ratio.

Output is {"op":"highlight","targets":[["yellow",x0,y0,x1,y1]]}. Coordinates are normalized to 0–1000 relative to the full original screenshot. Colours: yellow, green, blue, pink, purple, orange, red, white. Empty targets means no matches. White is an opaque mask.

Training and evaluation

800 SFT screenshots, 2,000 GRPO screenshots, 150 validation and 300 test cases; frozen vision tower, rank-32 / alpha-64 LoRA; 200 optimizer updates, 40 requests × 8 candidates/update, four 96 GB RTX PRO 6000 GPUs. Reward is deterministic same-colour one-to-one matching with boundary-tolerant precision/recall F1. Source adapter test reward: 0.617859. This is a geometric reward, not accuracy. These scores precede BF16 merging; no claim of a fresh merged-model benchmark.

Provenance and limits

See release-provenance.json, merge-validation.json and SHA256SUMS.json. BF16 adapter merging can slightly change outputs. The 2B merge was previously validated and is copied from pinned revision 19ae0731432822da915b5992104a2e50fed6f823; 4B merge includes tensor and logit checks. The model can miss or misidentify content. It sees only visible pixels; verify selections before consequential decisions. On-screen content is untrusted input.

Base model weights are Apache-2.0; retain Qwen's attribution. Screenshot examples retain their respective source rights. Author: Mustafa Hussain.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen3VLForConditionalGeneration
Ревизия весов: 1458bf0