/ Модель

Характеристики

Контекст
2 048 токенов
Размер весов
15,1 ГБ
Лицензия
MIT
Архитектура
openvla · dense
Базовая модель
oft_setting1_chunksize25_batch32_20k
Библиотека
transformers
Опубликована
10 июл 2026

gate_setting1_chunksize25_batch32_from20000

Изображение и текст → текст3 профессии

Дообученная модель OpenVLA-OFT с текстовым гейтом предсказывает действия XArm для задачи помещения кубика в пластиковый стакан по изображению и инструкции.

12скачиваний за 30 дней0лайковвеса обновлены10 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AAyano/gate_setting1_chunksize25_batch32_from20000 — дообученная модель OpenVLA-OFT с текстовым токеновым гейтом, разработанная для управления роботом XArm. Она предназначена для выполнения задачи pick-and-place: взять кубик и поместить его в пластиковый стакан; обучение продолжалось 10 000 шагов на базе AAyano/oft_setting1_chunksize25_batch32_20k с повторным обучением action head, proprio projector и FiLM. Модель использует зрительную информацию и текстовую инструкцию для предсказания действий робота; конфигурация включает гейтирование слоёв с порогом 0,3 и целевой бюджет гейта 0,4.

Для запуска требуется кодовая база Task-conditioned_Gate и её modeling_prismatic.py, загружаемый через trust_remote_code. Обычный процесс запуска OpenVLA-OFT может незаметно отбросить веса гейта. Репозиторий содержит объединённую модель в safetensors и отдельный LoRA-адаптер. Лицензия — MIT.

Сценарии применения

  • управление XArm при захвате кубика
  • перемещение кубика в пластиковый стакан
  • предсказание действий робота по изображению и текстовой инструкции

Ограничения

Модель рассчитана на конкретную задачу с XArm — взять кубик и поместить его в пластиковый стакан. Для корректного запуска необходима кодовая база Task-conditioned_Gate; vanilla OpenVLA-OFT может отбросить веса гейта.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gate_setting1_chunksize25_batch32_from20000

Task-conditioned text-token-gate OpenVLA-OFT model for real-world XArm, setting 1: pick cube and place into plastic cup. Trained fresh for 10000 steps on top of the oft_setting1_chunksize25_batch32_20k OFT backbone (action head / proprio projector / FiLM re-trained; cosine LR 5e-4 with 1000 warmup, effective batch 32, seed 6).

Gate configuration (baked into config.json)

  • Gazing: self_attention (dim 512, 8 heads, 1 layer), gate MLP hidden 512 / depth 1
  • Text pooling: contrastive_alignment_score (visual τ 0.1, text τ 0.05), instruction-only pooling, stopword filtering
  • Layer gate: threshold mode, threshold 0.3, strength 0.5
  • Budget loss: target 0.4, weight 0.01

⚠️ Serving requires the Task-conditioned_Gate codebase

The gate modules live in this repo's modeling_prismatic.py (loaded via trust_remote_code), but the openvla-oft serve flow syncs the local repo's modeling files INTO the checkpoint before loading. Serve with REPO_DIR pointing at the Task-conditioned_Gate repo — serving with vanilla openvla-oft silently drops the gate weights.

Contents

  • Merged full model (model-*.safetensors, gate config in config.json)
  • lora_adapter/ — LoRA + gate weights (modules_to_save=["text_token_gate"]), standalone copy
  • action_head--10000_checkpoint.pt, proprio_projector--10000_checkpoint.pt, vision_backbone--10000_checkpoint.pt (FiLM)
  • dataset_statistics.json, oft_training_config.json (chunk 25, action dim 7, proprio dim 6, BOUNDS_Q99)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
OpenVLAForActionPrediction
Ревизия весов
e43c016

0 моделей