/ Модель

Характеристики

Лицензия
MIT
Опубликована
12 июл 2026

coinrun-world-model

Обучение с подкреплением

Модель мира для CoinRun предсказывает следующие игровые состояния по истории кадров и действиям игрока.

0скачиваний за 30 дней1лайквеса обновлены12 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MAURYASAURABH/coinrun-world-model — модель мира с условием на действия для среды CoinRun из набора Procgen. Репозиторий содержит конвейер обучения из VQ-VAE и авторегрессионного Action-Conditioned Transformer; контрольные точки обеих моделей опубликованы на Hugging Face. Лицензия репозитория — MIT.

VQ-VAE кодирует RGB-кадры CoinRun размером 64×64 в дискретные латентные токены. Трансформер принимает историю этих токенов и действия игрока, затем предсказывает следующее состояние игры, моделируя её динамику и отображение внутри нейросети. Модель предназначена для изучения и локальной интерактивной симуляции игрового окружения; репозиторий также включает конвейер сбора данных и обучения.

Решение специализировано на CoinRun и требует соответствующих игровых состояний и действий. Для сбора данных используется Procgen; README отмечает несовместимость этой зависимости с компьютерами Apple Silicon. Обучение поддерживается на Windows и Linux с NVIDIA GPU.

Сценарии применения

  • симуляция следующих состояний CoinRun по действиям игрока
  • обучение и оценка агентов в среде Procgen CoinRun
  • интерактивное моделирование игровой динамики без обращения к игровому движку
  • сбор и кодирование траекторий CoinRun для обучения модели мира

Ограничения

Модель специализирована на среде CoinRun и использует кадры 64×64; перенос на другие игры не описан. Сбор данных через Procgen несовместим с Apple Silicon, а обучение рассчитано на Windows или Linux с NVIDIA GPU.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Action-Conditioned World Model for CoinRun

This repository contains a full pipeline for training an action-conditioned World Model on the Procgen CoinRun environment. The model is capable of hallucinating and simulating the game engine dynamics, physics, and rendering entirely within its neural network, conditioned on user input.

World Model Demo

🤖 Trained Models (Hugging Face)

All trained checkpoints, including the VQ-VAE and the Action-Conditioned Transformer (over 1GB of weights), are hosted publicly on Hugging Face: 👉 Download Models from Hugging Face (MAURYASAURABH/coinrun-world-model) 👈

(Note: The live interactive web demo is fully supported locally. Hugging Face free tier currently restricts custom Docker space hosting.)


Architecture Overview

The pipeline consists of two primary models:

  1. VQ-VAE (Vector Quantized Variational Autoencoder): Compresses the 64x64 RGB observations from the CoinRun environment into a discrete grid of latent tokens.
  2. Action-Conditioned Transformer: An autoregressive sequence model that takes the history of latent tokens and the player's chosen actions to predict the next future state of the game.

Installation

The environment requires Python 3.10. (Note: Data collection requires procgen, which is incompatible with Apple Silicon Macs. Training is fully supported on Windows/Linux with NVIDIA GPUs.)

conda env create -f environment.yml
conda activate coinrun-wm
pip install -e .

Pipeline Usage

The project provides a unified CLI via the wm command. See configs/default.yaml for hyperparameters.

1. Data Collection

Generate the dataset by simulating the environment with various agent policies.

wm collect --config configs/default.yaml

2. VQ-VAE Training

Train the visual tokenizer to compress frames into discrete latent codes.

wm train-vqvae --config configs/default.yaml

3. Latent Encoding

Pre-process the dataset by running all frames through the trained VQ-VAE.

wm encode --config configs/default.yaml vqvae.checkpoint=runs/vqvae/latest.pt

4. Transformer Training

Train the causal sequence model on the encoded latent trajectories and actions.

wm train-transformer --config configs/default.yaml

5. Local Interactive Demo

Launch the interactive web UI to play the world model locally.

wm demo --config configs/default.yaml

Deployment

A Dockerfile is included in the repository for easy deployment of the interactive demo to Hugging Face Spaces or any Docker-compatible hosting environment.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов
7262531

0 моделей