Характеристики

Контекст: 1 024 токена
Параметры: 786 560
Архитектура: decision_transformer · dense
Опубликована: 16 мар 2022

Ссылки

decision-transformer-gym-halfcheetah-expert

Обучение с подкреплением3 профессии

Модель Decision Transformer, обученная на экспертных траекториях, предсказывает действия агента для управления HalfCheetah в Gym.

66скачиваний за 30 дней1лайквеса обновлены29 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Decision Transformer от Ed Beeching, обученный на экспертных траекториях в среде Gym HalfCheetah. Модель содержит около 786,6 тыс. параметров и использует архитектуру Decision Transformer на PyTorch; длина контекста — 1024 токена.

Модель предназначена для управления HalfCheetah в задаче непрерывного контроля: по последовательности состояний и целевых возвратов она предсказывает действия агента. Для применения нужны указанные в карточке коэффициенты нормализации наблюдений. Карточка ссылается на пример использования, ноутбук Colab и статью в блоге.

В карточке не указана лицензия. Модель рассчитана на конкретную среду HalfCheetah и обучена на экспертных траекториях, поэтому её применимость к другим средам или распределениям не подтверждена.

Сценарии применения

управление агентом в среде Gym HalfCheetah
предсказание действий по состояниям и целевому возврату
эксперименты с обучением с подкреплением в непрерывном контроле

Ограничения

Модель предназначена для среды Gym HalfCheetah и требует нормализации наблюдений с коэффициентами из карточки. Перенос на другие среды не подтверждён; лицензия в предоставленных данных не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Decision Transformer model trained on expert trajectories sampled from the Gym HalfCheetah environment

This is a trained Decision Transformer model trained on expert trajectories sampled from the Gym HalfCheetah environment.

The following normlization coeficients are required to use this model:

mean = [ -0.04489148, 0.03232588, 0.06034835, -0.17081226, -0.19480659, -0.05751596, 0.09701628, 0.03239211, 11.047426, -0.07997331, -0.32363534, 0.36297753, 0.42322603, 0.40836546, 1.1085187, -0.4874403, -0.0737481 ]

std = [0.04002118, 0.4107858, 0.54217845, 0.41522816, 0.23796624, 0.62036866, 0.30100912, 0.21737163, 2.2105937, 0.572586, 1.7255033, 11.844218, 12.06324, 7.0495934, 13.499867, 7.195647, 5.0264325]

See our Blog Post, Colab notebook or Example Script for usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Класс архитектуры: DecisionTransformerModel
Ревизия весов: f08afb8