Характеристики

Лицензия: MIT
Библиотека: canvit-pytorch-rl
Опубликована: 7 июл 2026

Ссылки

Hugging Face

pgpolicy-ade20k-c64-t5-floorband-2026-07-07-s4

canvit

Обучение с подкреплением

Политика CanViT-PyTorch-RL выбирает последовательность областей обзора для визуальной сегментации сцен ADE20K.

7скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это политика выбора точки обзора на основе градиента политики, разработанная в проекте CanViT-PyTorch-RL. Она ранжирует кандидаты положения и масштаба области обзора на сетке 16×16 с двумя масштабами, чтобы последовательно выбирать, куда направлять визуальные «взгляды» при сегментации сцен ADE20K. Используется замороженный визуальный backbone CanViT; чекпойнт обучен методом on-policy по градиенту логарифма вероятности с бонусом энтропии и дробными наградами за качество сегментации. В описанном режиме развёртывания первый шаг охватывает всю сцену, последующие выбираются по максимальному логиту политики.

Модель рассчитана на эпизоды из пяти шагов и холст размером 64. В README приведены метрики валидации для первых шагов, включая mIoU 43,68% на шаге t2. Базовая модель — canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02. Весовые файлы опубликованы в формате safetensors, лицензия — MIT. Для загрузки и протокольно точного запуска README указывает библиотеку canvit_pytorch_rl.

Сценарии применения

выбор областей изображения для последовательной сегментации ADE20K
оценка политики размещения визуальных областей обзора
сравнение градиентной политики с политикой на основе Q-регрессии
эксперименты с выбором масштаба и положения визуальных наблюдений

Ограничения

Модель предназначена для схемы визуальной сегментации ADE20K с сеткой кандидатов 16×16, двумя масштабами и пятью шагами; для запуска требуется CanViT-PyTorch-RL и базовый backbone. В README приведены метрики лишь для части шагов эпизода.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Viewpoint policy-gradient actor — ADE20K, c64, T=5

Glimpse-placement policy for a frozen CanViT, over a discrete grid of candidate viewpoints (2 scales x 16x16 centres): scores per candidate are policy logits trained on-policy by score-function credit (loss -(z * log pi) - entropy_bonus * H, K=1 fractional-CE rewards); deploy = full-scene glimpse at t0, argmax afterwards — the same deploy rule as the Q-regression policies. Method + code: CanViT-PyTorch-RL.

Provenance: run 20260707-024428_pgfloor_s4, git b7a85881a30e13e3b421d39b3cd20061f1bfe9fa, seed 4, step 4000 (deploy ckpt = best mean(t1-t4) validation CE over the run's evals). Backbone canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02; probe resolved for canvas grid 64. Full-val metrics at this step:

glimpse step t	val CE	val mIoU %
t0	0.7649	39.60
t1	0.7178	42.57
t2	0.6916	43.68
t3	0.6780	44.21
t4	0.6678	44.61

from canvit_pytorch_rl.policy.net import ViewpointScorer
net = ViewpointScorer.from_pretrained("canvit/pgpolicy-ade20k-c64-t5-floorband-2026-07-07-s4").eval()

Drive it through canvit_pytorch_rl.policy.deploy.ArgmaxPolicy + canvit_eval.run_episode for protocol-exact rollouts; canvit_pytorch_rl.policy.eval is the standalone evaluator.

Seed 4 of the 8-seed pg entropy-floor band (floor 1.0 nat), band objective 0.6865±0.0012 vs qband 0.6853±0.0007; see docs/sessions/2026-07-05-e2e-diff-single-image-probe.md.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · canvit-pytorch-rl

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов: d8099e9