/ Модель

Характеристики

Контекст
1 024 токена
Параметры
786 560
Архитектура
decision_transformer · dense
Опубликована
16 мар 2022

decision-transformer-gym-walker2d-expert

Обучение с подкреплением3 профессии

Decision Transformer, обученный на экспертных траекториях Gym Walker2d для управления двуногим роботом в среде непрерывного контроля.

23скачиваний за 30 дней4лайкавеса обновлены29 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это модель Decision Transformer с 786,6 тыс. параметров, обученная на экспертных траекториях в среде Gym Walker2d. Она использует архитектуру трансформера для принятия последовательных решений в задаче непрерывного управления: получает состояние среды и историю целевых наград и предсказывает действия для управления двуногим роботом-ходоком.

Модель предназначена для экспериментов и применения офлайн-обучения с подкреплением на задаче Walker2d. Для использования требуются указанные в карточке коэффициенты нормализации наблюдений; модель принимает векторные состояния и выдаёт действия. Контекст составляет 1024 токена. Данные о лицензии в предоставленных источниках отсутствуют.

Сценарии применения

  • управление роботом Walker2d в симуляции
  • предсказание действий по состоянию среды
  • эксперименты с офлайн-обучением с подкреплением
  • сравнение Decision Transformer с алгоритмами управления ходьбой

Ограничения

Модель специализирована на среде Gym Walker2d и требует применения приведённых коэффициентов нормализации наблюдений. Лицензия и результаты количественной оценки в предоставленных источниках не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Decision Transformer model trained on expert trajectories sampled from the Gym Walker2d environment

This is a trained Decision Transformer model trained on expert trajectories sampled from the Gym Walker2d environment.

The following normlization coeficients are required to use this model:

mean = [ 1.2384834e+00, 1.9578537e-01, -1.0475016e-01, -1.8579608e-01, 2.3003316e-01, 2.2800924e-02, -3.7383768e-01, 3.3779100e-01, 3.9250960e+00, -4.7428459e-03, 2.5267061e-02, -3.9287535e-03, -1.7367510e-02, -4.8212224e-01, 3.5432147e-04, -3.7124525e-03, 2.6285544e-03]

std = [0.06664903, 0.16980624, 0.17309439, 0.21843709, 0.74599105, 0.02410989, 0.3729872, 0.6226182, 0.9708009, 0.72936815, 1.504065, 2.495893, 3.511518, 5.3656907, 0.79503316, 4.317483, 6.1784487] See our Blog Post, Colab notebook or Example Script for usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Класс архитектуры
DecisionTransformerModel
Ревизия весов
2658e07

0 моделей