Характеристики

Лицензия: MIT
Библиотека: canvit-pytorch-rl
Опубликована: 7 июл 2026

Ссылки

pgpolicy-ade20k-c64-t5-floorband-2026-07-07-s6

Обучение с подкреплением

Политика CanViT с обучением с подкреплением выбирает последовательность областей изображения для семантической сегментации сцен ADE20K.

7скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это политика размещения последовательных визуальных областей внимания на изображениях ADE20K. Модель разработана в рамках проекта CanViT-PyTorch-RL и оценивает кандидатов из дискретной сетки точек обзора: две шкалы и центры сетки 16×16. Политика обучалась методом policy gradient с подкреплением на замороженной базовой модели CanViT; в карточке указаны контрольная точка после 6000 шагов и лучший результат по валидационной функции потерь для шагов t1–t4.

При применении сначала используется полный обзор сцены, а затем на каждом шаге выбирается кандидат с наибольшим логитом. Модель предназначена для последовательного выбора областей изображения при семантической сегментации ADE20K. В README приведены результаты валидации: на шагах t0–t2 значение CE снижается с 0,7649 до 0,6893, а mIoU растёт с 39,60% до 43,66%. Для загрузки требуются библиотеки проекта CanViT-PyTorch-RL и CanViT; веса сохранены в формате safetensors. Лицензия — MIT.

Сценарии применения

последовательный выбор областей внимания для сегментации сцен ADE20K
адаптивное размещение визуальных фрагментов на изображении
оценка стратегий выбора точек обзора при сегментации
исследование policy gradient для визуального внимания

Ограничения

Оценка предназначена для протокола ADE20K и сетки кандидатов, настроенной для разрешения 64; перенос на другие наборы данных и разрешения не описан. В README приведены метрики только для шагов t0–t2, хотя политика рассчитана на последовательность из пяти шагов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Viewpoint policy-gradient actor — ADE20K, c64, T=5

Glimpse-placement policy for a frozen CanViT, over a discrete grid of candidate viewpoints (2 scales x 16x16 centres): scores per candidate are policy logits trained on-policy by score-function credit (loss -(z * log pi) - entropy_bonus * H, K=1 fractional-CE rewards); deploy = full-scene glimpse at t0, argmax afterwards — the same deploy rule as the Q-regression policies. Method + code: CanViT-PyTorch-RL.

Provenance: run 20260707-160155_pgfloor_s6, git d63026b8589a6fc035f724fd491b3049837b5681, seed 6, step 6000 (deploy ckpt = best mean(t1-t4) validation CE over the run's evals). Backbone canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02; probe resolved for canvas grid 64. Full-val metrics at this step:

glimpse step t	val CE	val mIoU %
t0	0.7649	39.60
t1	0.7155	42.49
t2	0.6893	43.66
t3	0.6770	44.29
t4	0.6679	44.65

from canvit_pytorch_rl.policy.net import ViewpointScorer
net = ViewpointScorer.from_pretrained("canvit/pgpolicy-ade20k-c64-t5-floorband-2026-07-07-s6").eval()

Drive it through canvit_pytorch_rl.policy.deploy.ArgmaxPolicy + canvit_eval.run_episode for protocol-exact rollouts; canvit_pytorch_rl.policy.eval is the standalone evaluator.

Seed 6 of the 8-seed pg entropy-floor band (floor 1.0 nat), band objective 0.6865±0.0012 vs qband 0.6853±0.0007; see docs/sessions/2026-07-05-e2e-diff-single-image-probe.md.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · canvit-pytorch-rl

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов: 79dc20a