Характеристики

Контекст: 1 024 токена
Параметры: 786 560
Архитектура: decision_transformer · dense
Опубликована: 16 мар 2022

Ссылки

Hugging Face arXiv 2106.01345

decision-transformer-gym-hopper-medium

edbeeching

Обучение с подкреплением3 профессии

Decision Transformer для управления агентом в среде Gym Hopper на основе траекторий среднего уровня.

6 222скачиваний за 30 дней7лайковвеса обновлены29 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель Decision Transformer, обученная разработчиком карточки на траекториях среднего уровня из среды Gym Hopper. Она предназначена для управления агентом в задаче непрерывного контроля: по последовательности состояний и целевых возвратов модель предсказывает действия. Архитектура — Decision Transformer; размер модели составляет 786,6 тыс. параметров, длина контекста — 1024 токена.

Для применения нужны коэффициенты нормализации наблюдений, приведённые в карточке. Модель принимает данные среды, а не естественный язык или изображения, и выдаёт действия для агента. В карточке не указаны сведения о лицензии.

Сценарии применения

управление агентом в Gym Hopper
предсказание действий по состояниям среды
эксперименты с офлайн-обучением с подкреплением

Ограничения

Модель обучена для среды Gym Hopper на траекториях среднего уровня, поэтому её назначение ограничено этим сценарием. Для использования требуются коэффициенты нормализации наблюдений из карточки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Decision Transformer model trained on medium trajectories sampled from the Gym Hopper environment

This is a trained Decision Transformer model trained on medium trajectories sampled from the Gym Hopper environment.

The following normlization coefficients are required to use this model:

mean = [ 1.311279, -0.08469521, -0.5382719, -0.07201576, 0.04932366, 2.1066856, -0.15017354, 0.00878345, -0.2848186, -0.18540096, -0.28461286]

std = [0.17790751, 0.05444621, 0.21297139, 0.14530419, 0.6124444, 0.85174465, 1.4515252, 0.6751696, 1.536239, 1.6160746, 5.6072536 ]

See our Blog Post, Colab notebook or Example Script for usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Класс архитектуры: DecisionTransformerModel
Ревизия весов: 8224ec3