Характеристики

Лицензия: MIT
Библиотека: canvit-pytorch-rl
Опубликована: 7 июл 2026

Ссылки

pgpolicy-ade20k-c64-t5-floorband-2026-07-07-s1

Обучение с подкреплением

Политика CanViT, обученная методом policy gradient, выбирает точки визуального наблюдения для последовательной сегментации сцен ADE20K.

9скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CanViT-PyTorch-RL — политика размещения последовательных визуальных наблюдений (glimpse) для сегментации сцен ADE20K. Она оценивает кандидаты на дискретной сетке точек обзора: две шкалы и центры сетки 16×16; оценки служат логитами политики. Модель обучена методом policy gradient с вознаграждением на основе fractional-CE и энтропийным бонусом, а при применении после первого полного наблюдения выбирает следующие точки по argmax.

Политика использует замороженный backbone CanViT, предобученный на ImageNet-21K и описанный в репозитории canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02. Для набора ADE20K в README приведены метрики валидации: mIoU растёт с 39,60% на шаге t0 до 44,06% на t2. Репозиторий распространяется в формате safetensors по лицензии MIT. Реализация и протокол запуска опираются на библиотеку CanViT-PyTorch-RL.

Сценарии применения

выбор следующих точек обзора для сегментации сцены ADE20K
последовательное уточнение сегментации с ограниченным числом визуальных наблюдений
сравнение политик размещения glimpse на сетке кандидатов
оценка сегментации ADE20K по пошаговому протоколу CanViT

Ограничения

Политика предназначена для конкретного протокола ADE20K с сеткой кандидатов из двух масштабов и центров 16×16; её применимость к другим датасетам и схемам наблюдения не подтверждена. README приводит метрики лишь для отдельных шагов rollout.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Viewpoint policy-gradient actor — ADE20K, c64, T=5

Glimpse-placement policy for a frozen CanViT, over a discrete grid of candidate viewpoints (2 scales x 16x16 centres): scores per candidate are policy logits trained on-policy by score-function credit (loss -(z * log pi) - entropy_bonus * H, K=1 fractional-CE rewards); deploy = full-scene glimpse at t0, argmax afterwards — the same deploy rule as the Q-regression policies. Method + code: CanViT-PyTorch-RL.

Provenance: run 20260706-223209_pgfloor_s1, git b7a85881a30e13e3b421d39b3cd20061f1bfe9fa, seed 1, step 6000 (deploy ckpt = best mean(t1-t4) validation CE over the run's evals). Backbone canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02; probe resolved for canvas grid 64. Full-val metrics at this step:

glimpse step t	val CE	val mIoU %
t0	0.7649	39.60
t1	0.7151	42.79
t2	0.6882	44.06
t3	0.6751	44.57
t4	0.6651	45.05

from canvit_pytorch_rl.policy.net import ViewpointScorer
net = ViewpointScorer.from_pretrained("canvit/pgpolicy-ade20k-c64-t5-floorband-2026-07-07-s1").eval()

Drive it through canvit_pytorch_rl.policy.deploy.ArgmaxPolicy + canvit_eval.run_episode for protocol-exact rollouts; canvit_pytorch_rl.policy.eval is the standalone evaluator.

Seed 1 of the 8-seed pg entropy-floor band (floor 1.0 nat), band objective 0.6865±0.0012 vs qband 0.6853±0.0007; see docs/sessions/2026-07-05-e2e-diff-single-image-probe.md.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · canvit-pytorch-rl

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов: 3b6cdb3