/ Модель

Характеристики

Контекст
1 024 токена
Параметры
786 560
Архитектура
decision_transformer · dense
Опубликована
16 мар 2022

decision-transformer-gym-hopper-expert

Обучение с подкреплением3 профессии

Decision Transformer для управления агентом в среде Gym Hopper на основе экспертных траекторий.

231скачиваний за 30 дней20лайковвеса обновлены29 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель Decision Transformer, обученная на экспертных траекториях в среде Gym Hopper. Она предназначена для управления агентом в задаче непрерывного контроля: получает последовательность состояний и целевых возвратов и предсказывает действия для продолжения траектории. Для использования необходима нормализация наблюдений с коэффициентами mean и std, приведёнными в карточке модели.

Модель реализована на PyTorch, относится к архитектуре Decision Transformer и содержит около 786,6 тыс. параметров; размер контекста — 1024 токена. Она специализирована на среде Hopper и не предназначена для переноса на другие среды без дополнительного обучения или адаптации. Лицензия в предоставленных данных не указана.

Сценарии применения

  • управление персонажем Hopper в симуляции Gym
  • предсказание действий по состояниям и целевому возврату
  • эксперименты с офлайн-обучением с подкреплением
  • оценка Decision Transformer на задаче непрерывного контроля

Ограничения

Модель обучена для среды Gym Hopper и требует указанной нормализации наблюдений; её качество на других средах не подтверждено. Лицензия не приведена в доступных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Decision Transformer model trained on expert trajectories sampled from the Gym Hopper environment

This is a trained Decision Transformer model trained on expert trajectories sampled from the Gym Hopper environment.

The following normlization coefficients are required to use this model:

mean = [ 1.3490015, -0.11208222, -0.5506444, -0.13188992, -0.00378754, 2.6071432, 0.02322114, -0.01626922, -0.06840388, -0.05183131, 0.04272673]

std = [0.15980862, 0.0446214, 0.14307782, 0.17629202, 0.5912333, 0.5899924, 1.5405099, 0.8152689, 2.0173461, 2.4107876, 5.8440027 ]

See our Blog Post, Colab notebook or Example Script for usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Класс архитектуры
DecisionTransformerModel
Ревизия весов
e4b82a7

0 моделей