Характеристики

Контекст: 1 024 токена
Параметры: 786 560
Архитектура: decision_transformer · dense
Опубликована: 16 мар 2022

Ссылки

Hugging Face arXiv 2106.01345

decision-transformer-gym-walker2d-medium

edbeeching

Обучение с подкреплением3 профессии

Компактная модель Decision Transformer для управления двуногим агентом Walker2d в Gym по траекториям среднего уровня.

21скачиваний за 30 дней1лайквеса обновлены29 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Decision Transformer, разработанная Ed Beeching, обучена на траекториях среднего уровня из среды Gym Walker2d для непрерывного управления. Она использует архитектуру Decision Transformer и предназначена для выбора действий агента по последовательностям состояний и целевых возвратов в этой среде. Размер модели — около 786,6 тыс. параметров; контекст — до 1024 токенов. Для использования требуются указанные в карточке коэффициенты нормализации наблюдений. Модель распространяется в формате PyTorch.

Сценарии применения

выбор действий для агента Walker2d в Gym
эксперименты с офлайн-обучением с подкреплением
оценка Decision Transformer на задаче непрерывного управления

Ограничения

Модель обучена для среды Gym Walker2d на траекториях среднего уровня и не рассчитана на перенос на другие среды без адаптации. При использовании необходимо применять указанные коэффициенты нормализации наблюдений.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.9Разработка и данныеСтатистика, эксперименты и причинный анализAI помогает планировать эксперименты и делать статистически обоснованные выводы о связях и эффектах.18 задач2 881модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Decision Transformer model trained on medium trajectories sampled from the Gym Walker2d environment

This is a trained Decision Transformer model trained on medium trajectories sampled from the Gym Walker2d environment.

The following normlization coeficients are required to use this model:

mean = [ 1.218966, 0.14163373, -0.03704914, -0.1381431, 0.51382244, -0.0471911, -0.47288352, 0.04225416, 2.3948874, -0.03143199, 0.04466356, -0.02390724, -0.10134014, 0.09090938, -0.00419264, -0.12120572, -0.5497064]

std = [0.12311358, 0.324188, 0.11456084, 0.26230657, 0.5640279, 0.22718786, 0.38373196, 0.7373677, 1.2387927, 0.7980206, 1.5664079, 1.8092705, 3.0256042, 4.062486, 1.4586568, 3.744569, 5.585129 ] See our Blog Post, Colab notebook or Example Script for usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Класс архитектуры: DecisionTransformerModel
Ревизия весов: da2238c