Характеристики

Контекст: 1 024 токена
Параметры: 786 560
Архитектура: decision_transformer · dense
Опубликована: 16 мар 2022

Ссылки

decision-transformer-gym-walker2d-medium-replay

Обучение с подкреплением3 профессии

Компактный Decision Transformer, обученный на траекториях Walker2d medium-replay для предсказания действий в симуляции непрерывного управления.

20скачиваний за 30 дней1лайквеса обновлены29 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Decision Transformer от сообщества Hugging Face, обученный на траекториях medium-replay из среды Gym Walker2d. Модель на основе архитектуры Decision Transformer содержит около 786,6 тыс. параметров и принимает последовательности состояний и целевых наград, чтобы предсказывать действия для управления симуляцией Walker2d.

Модель предназначена для экспериментов и задач обучения с подкреплением в непрерывном управлении: её можно использовать для выбора действий агента в Walker2d на основе накопленных траекторий. При использовании требуются указанные в карточке средние значения и стандартные отклонения для нормализации наблюдений. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

Сценарии применения

выбор действий агента в среде Gym Walker2d
эксперименты с обучением с подкреплением на офлайн-траекториях
оценка Decision Transformer на задачах непрерывного управления

Ограничения

Модель обучена на траекториях конкретной среды Walker2d и требует нормализации наблюдений с указанными коэффициентами; перенос на другие среды карточкой не заявлен.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Decision Transformer model trained on medium-replay trajectories sampled from the Gym Walker2d environment

This is a trained Decision Transformer model trained on medium-replay trajectories sampled from the Gym Walker2d environment.

The following normlization coeficients are required to use this model:

mean = [1.2093647, 0.13264023, -0.14371201, -0.20465161, 0.55776125, -0.03231537, -0.2784661, 0.19130707, 1.4701707, -0.12504704, 0.05649531, -0.09991033, -0.34034026, 0.03546293, -0.08934259, -0.2992438, -0.5984178 ]

std = [0.11929835, 0.3562574, 0.258522, 0.42075422, 0.5202291, 0.15685083, 0.3677098, 0.7161388, 1.3763766, 0.8632222, 2.6364644, 3.0134118, 3.720684, 4.867284, 2.6681626, 3.845187, 5.47683867] See our Blog Post, Colab notebook or Example Script for usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Класс архитектуры: DecisionTransformerModel
Ревизия весов: 4cbf4a1