/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
54,7 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_5 · dense
Базовая модель
Qwen3.5-27B
Библиотека
transformers
Опубликована
18 окт 2026

OS-Helix-27B

Изображение и текст → текст

OS-Helix-27B — дообученная мультимодальная модель на базе Qwen3.5-27B для понимания снимков экрана и исследований компьютерных агентов.

45скачиваний за 30 дней0лайковвеса обновлены18 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OS-Helix-27B — дообученная мультимодальная модель зрения и языка на базе Qwen/Qwen3.5-27B, выпущенная в формате Transformers. Она предназначена для понимания снимков экрана и исследований агентного взаимодействия с компьютером. Модель имеет плотную архитектуру на 27 млрд параметров и принимает текст и изображения, включая снимки экрана; поддержка видеопроцессора указана среди файлов релиза, но возможности обработки видео в README не описаны.

Модель подходит для диалога по содержимому интерфейса и анализа экранных изображений в сценариях компьютерного агента. Репозиторий содержит веса, конфигурации, токенизатор, шаблон чата и настройки обработки изображений и видео. Контекстное окно сохраняет настройки базовой модели, однако длина последовательности дообучения и качество на длинном контексте требуют проверки в конкретном приложении. Чекпойнт не содержит MTP-весов, поэтому спекулятивное декодирование MTP с ним недоступно. Лицензия — Apache-2.0.

Сценарии применения

  • анализ снимков экрана интерфейсов
  • ответы на вопросы о содержимом экрана
  • понимание состояния графического интерфейса
  • исследования компьютерных агентов
  • диалоговое взаимодействие с визуальным интерфейсом

Ограничения

Качество и работа с длинным контекстом требуют оценки в целевом приложении; модель не включает MTP-веса для спекулятивного декодирования.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

OS-Helix-27B

OS-Helix-27B is a fine-tuned vision-language model based on Qwen/Qwen3.5-27B, released in Hugging Face Transformers format for screenshot understanding and computer-use agent research.

PropertyValue
Base modelQwen/Qwen3.5-27B
ArchitectureDense (27B)
Transformers classQwen3_5ForConditionalGeneration
Weight precisionBF16
FormatSharded Safetensors
LicenseApache 2.0

Quick start

Install PyTorch and torchvision for your CUDA environment, then install the inference dependencies:

pip install "transformers>=5.3.0" accelerate pillow
import torch
from PIL import Image
from transformers import AutoProcessor, Qwen3_5ForConditionalGeneration

model_id = "YYangzzzz/OS-Helix-27B"
processor = AutoProcessor.from_pretrained(model_id)
model = Qwen3_5ForConditionalGeneration.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
)
messages = [{
    "role": "user",
    "content": [
        {"type": "image", "image": Image.open("screenshot.png").convert("RGB")},
        {"type": "text", "text": "Describe this screenshot and identify its main UI elements."},
    ],
}]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    enable_thinking=False,
    return_dict=True,
    return_tensors="pt",
).to(model.device)
with torch.inference_mode():
    generated = model.generate(**inputs, max_new_tokens=512)
answer = generated[:, inputs["input_ids"].shape[-1]:]
print(processor.batch_decode(answer, skip_special_tokens=True)[0])

The example uses non-thinking mode for a screenshot task. The packaged chat template supports the Qwen3.5 thinking switch. Choose the thinking setting appropriate to your application.

Release contents

The repository includes model weights and their index, model and generation configurations, tokenizer and chat template, image/video processor configurations, license and attribution, and SHA256SUMS for file integrity verification.

The selected fine-tuned checkpoint contains the main generation model without MTP weights. Use standard generation; MTP speculative decoding requires a separate compatible checkpoint.

sha256sum -c SHA256SUMS

The model configuration retains the upstream context setting; the fine-tuning sequence length is listed above. Longer-context behavior and downstream performance require application-specific evaluation.

Attribution

This release derives from the Qwen3.5 model family. See LICENSE for license details.

Citation

If you find this work helpful, please consider citing us:

@misc{yang2026oshelix,
  title = {OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents},
  author = {Bowen Yang and Kaiming Jin and Zichen Ding and Zhenyu Wu and Zehao Li and Zhoumianze Liu and Kanzhi Cheng and Fangzhi Xu and Yanan Sun and Qiushi Sun and Yu Qiao},
  year = {2026},
  url = {https://arxiv.org/abs/2610.22234}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3_5ForConditionalGeneration
Ревизия весов
8906b21

0 моделей