/ Модель

Характеристики

Контекст
1 024 токена
Лицензия
Apache 2.0
Архитектура
xvla · dense
Базовая модель
Florence-2-large
Опубликована
27 июл 2026

X-VLA-SoftFold

Языковая модельИзображение, текст → action

Производная модели 2toINF/X-VLA-SoftFold. X-VLA-SoftFold — модель зрения, языка и действий для преобразования наблюдений и инструкций в команды управления роботом.

17скачиваний за 30 дней0лайковвеса обновлены27 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели ethansan01/X-VLA-SoftFold на Hugging Face совпадает с карточкой 2toINF/X-VLA-SoftFold, поэтому описание составлено по ней.

X-VLA-SoftFold — модель Vision-Language-Action для управления роботами, опубликованная 2toINF. Это вариант X-VLA 0.9B, обученный на данных SoftFold; в метаданных базовой моделью указана дообученная microsoft/Florence-2-large. Архитектура сочетает визуально-языковой энкодер Florence-2 с Transformer, который предсказывает действия методом flow matching и использует отдельные обучаемые soft prompt embeddings для разных воплощений роботов. Модель предназначена для преобразования визуальных наблюдений и языковых инструкций в действия робота; заявлена поддержка разных роботизированных платформ и сценариев манипуляции.

В README указано около 0,9 млрд параметров и режим действий ee6d. Модель обучалась на Bridge Data и оценивалась в симуляциях и на реальных роботах; конкретные результаты для этой версии SoftFold не приведены. Репозиторий содержит веса safetensors и распространяется по лицензии Apache 2.0. Для загрузки README показывает Transformers с trust_remote_code, поэтому для запуска требуется совместимый код проекта.

Сценарии применения

  • управление роботом-манипулятором по визуальному наблюдению и инструкции
  • выполнение задач складывания мягких материалов
  • адаптация управления к разным типам роботов
  • генерация последовательностей действий робота для оценки в симуляции
  • эксперименты с переносом роботизированных навыков между платформами

Ограничения

README не приводит количественных результатов именно для этой версии SoftFold и не описывает полный перечень совместимых роботов или ограничений по среде. Для загрузки указан режим trust_remote_code, поэтому потребуется совместимый код проекта.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

X-VLA 0.9B (Soft Fold Edition)

Repository: 2toINF/X-VLA

Authors: 2toINF | License: Apache 2.0

Paper: Zheng et al., 2025, “X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model” (arXiv:2510.10274)

🚀 Overview

Successful generalist Vision-Language-Action (VLA) models rely on effective training across diverse robotic platforms with large-scale, cross-embodiment, heterogeneous datasets. To facilitate and leverage the heterogeneity in rich robotic data sources, X-VLA introduces a Soft Prompt approach with minimally added parameters: we infuse prompt-learning concepts into cross-embodiment robot learning, introducing separate sets of learnable embeddings for each distinct embodiment.

These embodiment-specific prompts empower VLA models to exploit cross-embodiment features effectively. Our architecture—a clean, flow-matching-based VLA design relying exclusively on soft-prompted standard Transformers—achieves superior scalability and simplicity.

Trained on Bridge Data and evaluated across six simulations and three real-world robots, the 0.9B-parameter X-VLA simultaneously achieves state-of-the-art performance across diverse benchmarks, demonstrating flexible dexterity and fast adaptation across embodiments, environments, and tasks.

🌐 Project Website: https://thu-air-dream.github.io/X-VLA/

⚙️ Usage

🔹 Load the model

from transformers import AutoModel

model = AutoModel.from_pretrained(
    "2toINF/X-VLA-WidowX",
    trust_remote_code=True
)

🔹 Start FastAPI server

from transformers import AutoProcessor
processor = AutoProcessor.from_pretrained("2toINF/X-VLA-WidowX", trust_remote_code=True)
model.run(processor, host="0.0.0.0", port=8000)

🔹 Client-server evaluation

You can run the provided evaluation client from our GitHub: 👉 2toINF/X-VLA – Client & Server Code

🧩 Architecture

ComponentRole
Florence 2 EncoderVision-Language representation backbone (encoder-only).
SoftPromptedTransformerFlow-matching action denoiser using learnable soft prompts per embodiment.
Action HubDefines action spaces, masking rules, pre/post-processing, and losses.

🧠 Training Summary

SettingValue
Training DataSoftFold
Parameters≈ 0.9 B
Action Modeee6d
PrecisionBP16
FrameworkPyTorch + Transformers

🪪 License

Copyright 2025 2toINF (https://github.com/2toINF)
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
http://www.apache.org/licenses/LICENSE-2.0

📚 Citation

@article{zheng2025x,
  title   = {X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action Model},
  author  = {Zheng, Jinliang and Li, Jianxiong and Wang, Zhihao and Liu, Dongxiu and Kang, Xirui
             and Feng, Yuchun and Zheng, Yinan and Zou, Jiayin and Chen, Yilun and Zeng, Jia and others},
  journal = {arXiv preprint arXiv:2510.10274},
  year    = {2025}
}

🌐 Links

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Класс архитектуры
XVLA
Ревизия весов
aaf7cc9

0 моделей