Характеристики

Контекст: 1 024 токена
Параметры: 786 560
Архитектура: decision_transformer · dense
Опубликована: 16 мар 2022

Ссылки

decision-transformer-gym-hopper-medium-replay

Обучение с подкреплением3 профессии

Decision Transformer, обученный на траекториях medium-replay, предсказывает действия агента для управления Hopper в среде Gym.

38скачиваний за 30 дней0лайковвеса обновлены29 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это обученная модель Decision Transformer для управления агентом в непрерывной среде Gym Hopper. Она разработана Ed Beeching и обучена на траекториях набора medium-replay для Hopper; архитектура преобразует последовательности состояний, действий и целевых возвратов в действия агента. Модель содержит около 786,6 тыс. параметров и рассчитана на контекст до 1024 токенов.

Модель предназначена для экспериментов и запуска управления в симуляции Hopper с использованием соответствующих нормализационных коэффициентов для наблюдений. В карточке приведены среднее и стандартное отклонение для нормализации. Данные о лицензии в предоставленных источниках отсутствуют.

Сценарии применения

управление агентом Hopper в симуляции Gym
предсказание действий по последовательности состояний и целевому возврату
эксперименты с офлайн-обучением с подкреплением
оценка Decision Transformer на задачах непрерывного управления

Ограничения

Модель обучена для конкретной среды Hopper и набора medium-replay, поэтому её применение к другим средам не подтверждено. Для корректного использования требуются указанные в карточке коэффициенты нормализации наблюдений.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Decision Transformer model trained on medium-replay trajectories sampled from the Gym Hopper environment

This is a trained Decision Transformer model trained on medium-replay trajectories sampled from the Gym Hopper environment.

The following normlization coefficients are required to use this model:

mean = [ 1.2305138, -0.04371411, -0.44542956, -0.09370098, 0.09094488, 1.3694725, -0.19992675, -0.02286135, -0.5287045, -0.14465883, -0.19652697]

std = [0.17565121, 0.06369286, 0.34383234, 0.19566889, 0.5547985, 1.0510299, 1.1583077, 0.79631287, 1.4802359, 1.6540332, 5.108601]

See our Blog Post, Colab notebook or Example Script for usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Класс архитектуры: DecisionTransformerModel
Ревизия весов: f36050d