/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
vla-foundry
Опубликована
17 апр 2026

Foundry-VLA-1.7B-full

Языковая модельИзображение, текст → action3 профессии

Модель vision-language-action для управления двуручной роботизированной манипуляцией по изображениям с нескольких камер.

208скачиваний за 30 дней0лайковвеса обновлены23 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Foundry-VLA-1.7B-full — модель vision-language-action с 1,7 млрд параметров для управления двуручной роботизированной манипуляцией. Она входит в коллекцию VLA Foundry и разработана TRI-ML. Модель объединяет визуально-языковой базовый блок Foundry-VLM-1.3B-200M с диффузионной головой действий на основе flow matching; голова учитывает последние четыре слоя основы и имеет 24 слоя, скрытую размерность 1024 и 16 голов внимания.

Модель принимает изображения с четырёх камер — двух обзорных и двух на запястьях — и предназначена для выполнения действий в симуляции и реальных сценариях манипуляции. Выход представляет собой 20-мерные относительные действия для обеих рук, включая координаты, 6D-повороты и управление захватами. Обучение проводилось на 102 млн примеров симулированных и реальных задач. В оценке успешность на знакомых задачах составила 54,0% и 34,1% в двух симуляторах, а на незнакомых — 4,7% и 7,5%, что указывает на ограниченное обобщение на новые задачи. Репозиторий распространяется по лицензии Apache-2.0.

Сценарии применения

  • управление двумя роботизированными руками для манипуляции предметами
  • выполнение инструкций по перемещению и захвату объектов
  • обучение и оценка политик манипуляции в симуляторах
  • перенос навыков манипуляции из симуляции в реальные условия

Ограничения

На незнакомых задачах модель показывает низкую успешность: 4,7% и 7,5% в двух указанных симуляторах. Оценка приведена для симуляции; результаты не устанавливают надёжность в реальном применении.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Foundry-VLA-1.7B-full

A 1.7B parameter vision-language-action model for bimanual robotic manipulation, part of the VLA Foundry collection. Trained on both simulated and real-world manipulation data.

Model Description

  • Architecture: Foundry-VLM-1.3B vision-language backbone + (condition on last 4 layers) flow-matching diffusion action head (24 layers, 1024 hidden dim, 16 heads)
  • Parameters: 1.7B (non-embedding)
  • Action space: 20-dim relative actions (bimanual xyz + 6D rotation + gripper)
  • Cameras: 4 views (2 scene + 2 wrist)
  • Training data: 102M samples from simulated and real-world bimanual manipulation tasks (with resample)
  • VLM backbone: Foundry-VLM-1.3B-200M

Evaluation Results

Success rates on 16 seen tasks and 3 unseen tasks (200 rollouts per task):

SimulatorSeen (16 tasks)Unseen (3 tasks)
CS54.0%4.7%
OSS34.1%7.5%

Usage

git clone https://github.com/TRI-ML/vla_foundry.git
cd vla_foundry
pip install -e .
from vla_foundry.models.base_model import BaseModel
model = BaseModel.from_pretrained("TRI-ML/Foundry-VLA-1.7B-full")

Links

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · vla-foundry

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
737ad03

0 моделей