/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
66,7 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_vl · dense
Базовая модель
Qwen3-VL-32B
Библиотека
transformers
Опубликована
28 янв 2026

gWorld-32B

Изображение и текст → текст3 профессии

gWorld-32B предсказывает следующее состояние мобильного интерфейса по скриншоту и действию пользователя, выдавая рассуждение и рендеримый HTML.

199скачиваний за 30 дней31лайквеса обновлены29 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gWorld-32B (GuiWorld) — открытая модель Trillion Labs для моделирования состояний графического интерфейса мобильных приложений по изображению экрана и действию пользователя. Это плотная vision-language-модель на базе Qwen3-VL-32B, представленная как чат-модель с поддержкой изображений; она принимает скриншот и действие, например нажатие или ввод текста, а затем генерирует рассуждение о переходе и HTML/CSS-код нового состояния интерфейса.

Модель предназначена для предсказания следующего состояния мобильного GUI, симуляции интерфейсов и оценки того, как приложение отреагирует на действие. Представление результата в виде кода позволяет сохранять чёткость текста и структуру макета. В README заявлены улучшение точности следования инструкциям относительно базовой модели и обобщение на тесты AndroidWorld и KApps.

Модель выпущена под лицензией Apache 2.0. Описанный сценарий требует передавать действия в заданном формате и использовать нормализованные координаты от 0 до 1000. Заявленные результаты приведены в карточке модели; независимые условия и детали оценки там не описаны.

Сценарии применения

  • симуляция перехода мобильного интерфейса после нажатия
  • предсказание экрана приложения после ввода текста
  • генерация HTML/CSS-кода мобильного экрана
  • тестирование поведения мобильных приложений по последовательности действий
  • оценка следования интерфейса пользовательским инструкциям

Ограничения

Для заданного сценария нужно предоставлять скриншот вместе с действием; координаты действий задаются в нормализованной шкале от 0 до 1000. README заявляет результаты на бенчмарках, но не описывает подробности условий оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gWorld-32B 🌍📱

gWorld (GuiWorld) is an open-weight GUI world model for mobile GUI agents: a single vision-language model (8B / 32B) that predicts the next screen after a user action by generating renderable HTML/web code instead of pixels. First released February 2, 2026 by Trillion Labs; accepted to ICML 2026.

ICML 2026 arXiv

This is gWorld-32B. Paper: Generative Visual Code Mobile World Models (arxiv:2602.01576, ICML 2026). Benchmark: MWMBench. Collection: GuiWorld.

📄 Paper 🎬 Demo 👨🏻‍💻 Code

🎉 News (May, 2026): gWorld has been accepted to ICML 2026! See you in Seoul. 🇰🇷

gWorld-32B predicts the next GUI state as executable web code rather than pixels, which keeps text legible and layouts structurally accurate and avoids the hallucination and legibility issues common in pixel-generation models.

Model Summary

  • Architecture: Based on Qwen3-VL-32B
  • Task: Action-conditioned next-state prediction for mobile GUIs
  • Input: Current screenshot + Action
  • Output: Reasoning + Renderable HTML

Key Features

1. New Pareto Frontier

gWorld-32B establishes a new Pareto frontier in the trade-off between model size and GUI world modeling accuracy.

  • Efficiency: Outperforms frontier models up to 12.6x larger (e.g., Llama 4 402B-A17B) on GUI-specific benchmarks.
  • Accuracy: Achieves a +27.1% gain in Instruction Accuracy (IAcc.) over the base Qwen3-VL model.
  • Zero-Shot Generalization: Demonstrated high performance on out-of-distribution benchmarks like AndroidWorld and KApps (Korean).

2. Action Input & Operations

The model treats the mobile interface as a coordinate space and predicts how that space changes based on user input.

  • Coordinate Space: Operates on a normalized [0, 1000] scale.
  • Logic: It generates a "Next State Reasoning" block before the code to ensure the visual transition logically follows the intent of the action.
  • Example Actions: - {"action_type": "TAP", "coordinates": [512, 890]} or {"action_type": "TYPE", "text": "gWorld is a generative code mobile world model"}

3. Visual Code Rendering

By outputting HTML/CSS, gWorld ensures that text remains perfectly sharp and layouts are responsive.

  • High Renderability: <1% render failure rate.
  • Speed: Rendering via Playwright takes ~0.3s, significantly faster than multi-step diffusion pipelines.

Sample Usage

Inference with vLLM

To use the model, you can use the following snippet from the official repository:

from vllm import LLM, SamplingParams
from transformers import AutoProcessor
from PIL import Image

# Model configuration
MODEL_PATH = "trillionlabs/gWorld-32B"
BASE_MODEL = "Qwen/Qwen3-VL-32B"

# Image processing settings
MM_PROCESSOR_KWARGS = {
    "max_pixels": 4233600,
    "min_pixels": 3136,
}

# Load model
llm = LLM(
    model=MODEL_PATH,
    tokenizer=BASE_MODEL,
    tensor_parallel_size=8,
    gpu_memory_utilization=0.9,
    max_model_len=19384,
    trust_remote_code=True,
    mm_processor_kwargs=MM_PROCESSOR_KWARGS,
    enable_chunked_prefill=True,
    max_num_batched_tokens=16384,
)

# Load processor for chat template
processor = AutoProcessor.from_pretrained(BASE_MODEL, trust_remote_code=True)

# Prepare input
image = Image.open("screenshot.png") # Replace with your screenshot
if image.mode != 'RGB':
    image = image.convert('RGB')

action = '{"action_type": "TAP", "coordinates": [512, 890]}'

# World model prompt template
user_content = f"""You are an expert mobile UI World Model that can accurately predict the next state given an action.
Given a screenshot of a mobile interface and an action, you must generate clean, responsive HTML code that represents the state of the interface AFTER the action is performed.
First generate reasoning about what the next state should look like based on the action.
Afterwards, generate the HTML code representing the next state that logically follows the action.
You will render this HTML in a mobile viewport to see how similar it looks and acts like the mobile screenshot.

Requirements:
1. Provide reasoning about what the next state should look like based on the action
2. Generate complete, valid HTML5 code
3. Choose between using inline CSS and utility classes from Bootstrap, Tailwind CSS, or MUI for styling, depending on which option generates the closest code to the screenshot.
4. Use mobile-first design principles matching screenshot dimensions.
5. For images, use inline SVG placeholders with explicit width and height attributes that match the approximate dimensions from the screenshot. Matching the approximate color is also good.
6. Use modern web standards and best practices
7. Return ONLY the HTML code, no explanations or markdown formatting
8. The generated HTML should render properly in a mobile viewport.
9. Generated HTML should look like the screen that logically follows the current screen and the action.

Action:
{action}

Output format:
# Next State Reasoning: <your reasoning about what the next state should look like>
# HTML: <valid_html_code>

Generate the next state reasoning and the next state in html:"""

# Build messages
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": image},
            {"type": "text", "text": user_content},
        ],
    }
]

# Apply chat template
prompt = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

# Generation parameters
sampling_params = SamplingParams(
    max_tokens=15000,
    temperature=0,
    seed=42,
    top_p=1.0,
)

# Generate
outputs = llm.generate(
    [{"prompt": prompt, "multi_modal_data": {"image": image}}],
    sampling_params=sampling_params
)

print(outputs[0].outputs[0].text)

License and Contact

This model is licensed under the Apache License 2.0. For inquiries, please contact: info@trillionlabs.co

Citation

@inproceedings{koh2026gworld,
  title     = {Generative Visual Code Mobile World Models},
  author    = {Koh, Woosung and Han, Sungjun and Lee, Segyu and Yun, Se-Young and Shin, Jamin},
  booktitle = {International Conference on Machine Learning (ICML)},
  year      = {2026},
  note      = {arXiv:2602.01576}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3VLForConditionalGenerationWithDummy
Ревизия весов
0608140

0 моделей