/ Модель

Характеристики

Контекст
2 048 токенов
Размер весов
15,1 ГБ
Лицензия
MIT
Архитектура
openvla · dense
Базовая модель
oft_setting2_chunksize25_batch32_20k
Библиотека
transformers
Опубликована
10 июл 2026

gate_setting2_chunksize25_batch32_from20000

Изображение и текст → текст3 профессии

Дообученная OpenVLA-OFT модель для управления XArm при укладке чашек по изображению и текстовой инструкции.

11скачиваний за 30 дней0лайковвеса обновлены10 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AAyano/gate_setting2_chunksize25_batch32_from20000 — дообученная модель семейства OpenVLA-OFT для управления роботом XArm при укладке чашек (setting 2). Она основана на AAyano/oft_setting2_chunksize25_batch32_20k; в ходе обучения заново настроены голова действий, проектор proprioception и FiLM-компоненты. Модель использует текстовый токен-гейт с контрастивным выравниванием текста и визуальных признаков и пороговой настройкой вклада слоёв.

Модель предназначена для предсказания действий робота по изображению и текстовой инструкции в сценарии укладки чашек. Чекпойнт включает объединённую модель и отдельный LoRA-адаптер с весами гейта; используется формат safetensors и библиотека Transformers. Для корректного обслуживания требуется код Task-conditioned_Gate и загрузка пользовательского кода из репозитория: стандартный openvla-oft может не загрузить веса гейта. Лицензия — MIT.

Сценарии применения

  • управление XArm при укладке чашек
  • предсказание последовательностей действий робота по камере
  • выполнение текстовых инструкций манипуляции объектами

Ограничения

Для обслуживания требуется код Task-conditioned_Gate; стандартный поток openvla-oft может незаметно отбросить веса гейта. Описание подтверждает обучение для конкретного сценария укладки чашек на XArm, поэтому перенос на другие роботы и задачи не установлен.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gate_setting2_chunksize25_batch32_from20000

Task-conditioned text-token-gate OpenVLA-OFT model for real-world XArm, setting 2: cup stacking. Trained fresh for 10000 steps on top of the oft_setting2_chunksize25_batch32_20k OFT backbone (action head / proprio projector / FiLM re-trained; cosine LR 5e-4 with 1000 warmup, effective batch 32, seed 6).

Gate configuration (baked into config.json)

  • Gazing: self_attention (dim 512, 8 heads, 1 layer), gate MLP hidden 512 / depth 1
  • Text pooling: contrastive_alignment_score (visual τ 0.1, text τ 0.05), instruction-only pooling, stopword filtering
  • Layer gate: threshold mode, threshold 0.3, strength 0.5
  • Budget loss: target 0.4, weight 0.01

⚠️ Serving requires the Task-conditioned_Gate codebase

The gate modules live in this repo's modeling_prismatic.py (loaded via trust_remote_code), but the openvla-oft serve flow syncs the local repo's modeling files INTO the checkpoint before loading. Serve with REPO_DIR pointing at the Task-conditioned_Gate repo — serving with vanilla openvla-oft silently drops the gate weights.

Contents

  • Merged full model (model-*.safetensors, gate config in config.json)
  • lora_adapter/ — LoRA + gate weights (modules_to_save=["text_token_gate"]), standalone copy
  • action_head--10000_checkpoint.pt, proprio_projector--10000_checkpoint.pt, vision_backbone--10000_checkpoint.pt (FiLM)
  • dataset_statistics.json, oft_training_config.json (chunk 25, action dim 7, proprio dim 6, BOUNDS_Q99)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
OpenVLAForActionPrediction
Ревизия весов
f4bdec1

0 моделей