Характеристики

Контекст: 1 024 токена
Параметры: 786 560
Архитектура: decision_transformer · dense
Опубликована: 16 мар 2022

Ссылки

decision-transformer-gym-halfcheetah-medium

Обучение с подкреплением3 профессии

Decision Transformer, обученный на траекториях среднего уровня HalfCheetah, предсказывает действия для управления персонажем в этой среде.

24скачиваний за 30 дней1лайквеса обновлены29 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это Decision Transformer от автора edbeeching, обученный на траекториях среднего уровня из среды Gym HalfCheetah. Модель с плотной архитектурой DecisionTransformerModel содержит 786,6 тыс. параметров и рассчитана на управление непрерывными действиями в этой среде.

Для работы требуется нормализовать наблюдения с указанными в карточке средними значениями и стандартными отклонениями. Модель принимает последовательности состояний и целевых возвратов и предсказывает действия; её контекст составляет 1024 токена. Репозиторий содержит веса PyTorch. Данных о лицензии в предоставленных сведениях нет.

Сценарии применения

управление HalfCheetah в Gym
предсказание действий по состояниям среды и целевому возврату
эксперименты с офлайн-обучением с подкреплением
сравнение Decision Transformer с другими методами управления

Ограничения

Модель обучена на траекториях среднего уровня HalfCheetah и предназначена для этой среды; для применения необходима заданная нормализация наблюдений. Перенос на другие среды или распределения данных в карточке не подтверждён.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.9Разработка и данныеСтатистика, эксперименты и причинный анализAI помогает планировать эксперименты и делать статистически обоснованные выводы о связях и эффектах.18 задач2 881модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Decision Transformer model trained on medium trajectories sampled from the Gym HalfCheetah environment

This is a trained Decision Transformer model trained on medium trajectories sampled from the Gym HalfCheetah environment.

The following normlization coeficients are required to use this model:

mean = [-0.06845774, 0.01641455, -0.18354906, -0.27624607, -0.34061527, -0.09339716, -0.21321271, -0.08774239, 5.1730075, -0.04275195, -0.03610836, 0.14053793, 0.06049833, 0.09550975, 0.067391, 0.00562739, 0.01338279]

std = [0.07472999, 0.30234998, 0.3020731, 0.34417078, 0.17619242, 0.5072056, 0.25670078, 0.32948127, 1.2574149, 0.7600542, 1.9800916, 6.5653625, 7.4663677, 4.472223, 10.566964, 5.6719327, 7.498259]

See our Blog Post, Colab notebook or Example Script for usage.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Класс архитектуры: DecisionTransformerModel
Ревизия весов: bb89518