Характеристики

Опубликована: 14 июл 2026

Ссылки

Hugging Face

ppo-from-scratch-LunarLander-v3

flydexo

Обучение с подкреплением

Обученный на PPO агент на PyTorch управляет посадочным модулем в симуляторе LunarLander-v3.

0скачиваний за 30 дней0лайковвеса обновлены14 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

flydexo/ppo-from-scratch-LunarLander-v3 — обученный агент обучения с подкреплением для управления посадочным модулем в среде LunarLander-v3. Реализация PPO написана с нуля на PyTorch в стиле CleanRL и использует отдельные сети актёра и критика. Сеть политики принимает вектор наблюдения размерности 8 и выдаёт одно из 4 дискретных действий; сеть ценности оценивает состояние. В README приведена средняя награда 217,95 ± 51,27 за 10 эпизодов при жадном выборе действий.

Модель предназначена для запуска и оценки агента в LunarLander-v3, а также для изучения реализации PPO и использования обученной политики в симуляции. В репозитории есть веса актёра и критика в формате PyTorch и видеозапись прохождения. Лицензия и условия использования в доступных данных не указаны.

Сценарии применения

управление посадочным модулем в LunarLander-v3
оценка обученной PPO-политики в симуляции
изучение реализации глубокого обучения с подкреплением на PyTorch

Ограничения

Агент предназначен для среды LunarLander-v3 и её пространства наблюдений и действий; переносимость на другие среды не заявлена. Оценка основана на 10 эпизодах.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PPO Agent Playing LunarLander-v3

This is a trained model of a PPO agent playing LunarLander-v3, written from scratch in PyTorch (CleanRL-style implementation, separate actor and critic networks).

Evaluation

mean_reward = 217.95 +/- 51.27 over 10 episodes (greedy policy).

Files

LunarLander-actor.pt — policy network state dict (8 -> 64 -> 64 -> 64 -> 4, Tanh)
LunarLander-critic.pt — value network state dict (8 -> 64 -> 64 -> 64 -> 1, Tanh)
replay.mp4 — replay video of the greedy agent
results.json — evaluation results

Usage

policy = Policy(obs_dim=8, hidden_dim=64, act_dim=4, n_layers=2)
policy.load_state_dict(torch.load("LunarLander-actor.pt"))
action, _, _ = policy.act(torch.tensor(obs), evaluation=True)

Hyperparameters

env_id = LunarLander-v3
p_hidden_dim = 64
p_n_layers = 2
value_hidden_dim = 64
value_n_layers = 2
gamma = 0.999
total_timesteps = 2000000
beta = 0.01
num_envs = 16
num_steps = 1024
num_minibatch = 32
update_epochs = 4
learning_rate = 0.00025
gae_lambda = 0.98
eps = 0.2
v_coeff = 0.5
clip_value_loss = False

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов: f63f7f4