Характеристики

Контекст: 1 024 токена
Параметры: 786 560
Архитектура: decision_transformer · dense
Опубликована: 16 мар 2022

Ссылки

decision-transformer-gym-halfcheetah-medium-replay

Обучение с подкреплением3 профессии

Decision Transformer, обученный на траекториях Gym HalfCheetah medium-replay для управления агентом в задаче непрерывного контроля.

19скачиваний за 30 дней0лайковвеса обновлены29 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель Decision Transformer, разработанная Ed Beeching и обученная на траекториях medium-replay из среды Gym HalfCheetah. Она предназначена для управления агентом в задаче непрерывного контроля: по истории состояний и действий модель предсказывает действия для достижения заданного целевого возврата. Модель содержит 786,6 тыс. параметров, использует архитектуру Decision Transformer и имеет контекст длиной 1024 токена.

Для применения нужны коэффициенты нормализации наблюдений mean и std, приведённые в карточке модели. Модель подходит для экспериментов и оценки поведения в HalfCheetah; карточка не описывает её применение в других средах. Доступна в формате PyTorch. Лицензия в предоставленных данных не указана.

Сценарии применения

управление агентом в среде HalfCheetah
предсказание действий по истории состояний и действий
эксперименты с офлайн-обучением с подкреплением
оценка поведения агента при заданном целевом возврате

Ограничения

Модель обучена на траекториях HalfCheetah medium-replay, поэтому её применение к другим средам не подтверждено. Для использования требуется нормализация наблюдений с коэффициентами из карточки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Decision Transformer model trained on medium-replay trajectories sampled from the Gym HalfCheetah environment

This is a trained Decision Transformer model trained on medium-replay trajectories sampled from the Gym HalfCheetah environment.

The following normlization coeficients are required to use this model:

mean = [-0.12880704, 0.37381196, -0.14995988, -0.23479079, -0.28412786, -0.13096535, -0.20157982, -0.06517727, 3.4768248, -0.02785066, -0.01503525, 0.07697279, 0.01266712, 0.0273253, 0.02316425, 0.01043872, -0.01583941]

std = [0.17019016, 1.2844249, 0.33442774, 0.36727592, 0.26092398, 0.4784107, 0.31814206 ,0.33552638, 2.0931616, 0.80374336, 1.9044334, 6.57321, 7.5728636, 5.0697494, 9.105554, 6.0856543, 7.253004, 5]

See our Blog Post, Colab notebook or Example Script for usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Класс архитектуры: DecisionTransformerModel
Ревизия весов: 09999d0