/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
24 июл 2026

diffusion_fusion

Генерация изображенийИзображение, текст → action

Diffusion policy, обученная для управления роботизированным манипулятором SO-101 по данным набора Zouzouw/fusion.

7скачиваний за 30 дней1лайквеса обновлены24 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Zouzouw/diffusion_fusion — политика управления роботизированным манипулятором SO-101 на основе diffusion policy. Модель обучил Corentin Friedrich на датасете Zouzouw/fusion; опубликована как резервная копия, поскольку исходный репозиторий больше недоступен. В репозитории веса в формате safetensors, лицензия Apache-2.0.

Модель генерирует блоки действий для управления манипулятором. Исходная конфигурация использует 100 шагов DDPM и изображения камер размером 480×640; в README также приведены настройки ускоренного вывода с 10 или 5 шагами DDIM. На GTX 1060 с 6 ГБ оригинальная конфигурация требует около 28,5 секунды на блок действий, что делает движения почти неподвижными. Качество траекторий при 5 шагах DDIM визуально не оценивалось; перед демонстрацией его следует проверить. Для применимости требуется соблюдать ограничение n_action_steps ≤ horizon − n_obs_steps + 1 (63 для описанной конфигурации).

Сценарии применения

  • генерация блоков действий для манипулятора SO-101
  • управление SO-101 на основе наблюдений с камер
  • эксперименты с diffusion policy для роботизированного манипулятора

Ограничения

На GTX 1060 6 ГБ исходная конфигурация генерирует блок действий около 28,5 секунды; ускоренные режимы с 5 шагами DDIM не проверялись визуально. Для описанной конфигурации n_action_steps не должен превышать 63.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

diffusion_fusion

Politique diffusion pour le bras SO-101, entrainee sur Zouzouw/fusion.

Entrainement realise par Corentin Friedrich. Publie ici pour ne pas perdre le modele, le depot d'origine n'etant plus accessible.

DatasetZouzouw/fusion
Learning rate1e-04
Checkpointetape 150 000
PolitiqueDiffusion Policy

Attention : trop lourd pour une petite carte

Mesure sur une GTX 1060 6 Go : environ 285 ms par pas de debruitage, soit 28,5 s pour generer un seul bloc d'actions avec la configuration d'origine (100 pas DDPM, images 480x640 non recadrees). Le bras est quasi immobile — inutilisable en demonstration.

Reglages mesures pour le rendre jouable sur cette carte :

ConfigurationGel par blocMouvement couvert
Origine — 100 pas DDPM, 30 fps28,5 s1,07 s
10 pas DDIM, 15 fps, n_action_steps=633,3 s4,2 s
5 pas DDIM, 15 fps, n_action_steps=631,67 s4,2 s

Le goulot n'est ni les cameras ni le bus moteur : c'est le debruitage seul.

La qualite des trajectoires a 5 pas DDIM n'a jamais ete evaluee visuellement. A verifier avant toute demonstration, et remonter a 10 pas si les gestes partent a cote.

Contrainte du modele : n_action_steps <= horizon - n_obs_steps + 1, soit 63 ici. Sur un GPU plus recent, ces contournements ne sont pas necessaires.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели для роботов не запускаются как сервис инференса.

Ревизия весов
b0f0539

0 моделей