smolvla-mlx
Hugging Faceのロボット基盤モデル smolVLA（450M・Vision-Language-Action）のApple Silicon（MLX）移植です。カメラ画像・言語指示・関節状態から50手先までのアクションチャンクを生成します。大規模GPUなしで、実機制御に十分な速度で動作します。
| 実行系 | 1チャンク（50手）生成 | ピークメモリ |
|---|---|---|
| 本移植（MLX） | 160ms（313 actions/s） | 1.6GB |
| PyTorch MPS（参照実装） | 263ms | |
| PyTorch CPU（参照実装） | 5,835ms |
同一入力・同一ノイズでPyTorch参照実装とコサイン類似度0.99994（50手×32次元・Euler 10ステップ通し）の出力一致を検証済みです。プレフィル→偶数層joint self-attention／奇数層cross-attentionの二相構造、fp32でのRoPE・attention計算まで参照実装を忠実に再現しています。
使い方
pip install mlx-vlm pillow transformers
hf download tokimoa/smolvla-mlx --local-dir smolvla-mlx
from smolvla_mlx import SmolVLAMLX
import numpy as np
model = SmolVLAMLX.from_pretrained("smolvla-mlx")
actions = model.predict(
images=[cam1, cam2, cam3], # HWC uint8（1〜3カメラ）
instruction="Pick up the red cube",
state=[0.1, -0.2, 0.3, 0.0, 0.5, 0.0], # 関節状態（実次元のまま）
) # -> (50, 6) アクションチャンク
CLIでも動きます。
python smolvla-mlx/smolvla_mlx.py --images cam0.png cam1.png cam2.png \
--instruction "pick up the red cube" --state 0,0,0,0,0,0
位置づけ
smolVLAはベースモデルであり、実タスクへの適用には手元のロボット（SO-101等）でのファインチューニングが前提です。学習はLeRobotで行い、Mac上での推論・検証・デモに本移植を使う構成を想定しています。ファインチューニング済み重み（同一アーキテクチャ）もmodel.safetensorsを差し替えれば動きます。
前処理（アスペクト維持リサイズ・左上パディング・[-1,1]正規化・言語トークナイズ・状態パディング）はランタイムに内蔵しており、追加コードなしで参照実装と同じ入力分布になります。
ライセンス
Apache-2.0（ベースモデルsmolvla_baseのライセンスを継承）
Developed by tokimoa