/ Модель

Характеристики

Лицензия
MIT
Библиотека
canvit-pytorch-rl
Опубликована
7 июл 2026

pgpolicy-ade20k-c64-t5-floorband-2026-07-07-s3

Обучение с подкреплением3 профессии

Политика CanViT выбирает точки и масштабы последовательных визуальных наблюдений для семантической сегментации сцен ADE20K.

12скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это политика размещения последовательных визуальных «взглядов» на изображении, обученная CanViT-PyTorch-RL для семантической сегментации ADE20K. Она оценивает кандидатов на дискретной сетке точек и двух масштабов и выдаёт логиты политики; при развёртывании сначала используется полный обзор сцены, затем выбирается кандидат с максимальной оценкой. Обучение выполнено методом policy gradient с вознаграждением на основе fractional-CE; указан чекпойнт шага 7000, seed 3 из серии из восьми запусков.

Модель использует замороженный backbone CanViT-B/16 с предварительным обучением на ImageNet-21K и разрешённую для сетки canvas 64 конфигурацию. Валидационные показатели на ADE20K для шагов t0–t2: cross-entropy 0,7649, 0,7142 и 0,6891; mIoU 39,60%, 42,76% и 43,91% соответственно. Репозиторий содержит веса safetensors и распространяется по лицензии MIT. Политика предназначена для заданного протокола последовательных визуальных наблюдений; результаты и ограничения за пределами этого сценария в карточке не описаны.

Сценарии применения

  • выбор следующего участка изображения для визуального анализа
  • последовательное размещение взглядов при сегментации ADE20K
  • оценка политики выбора точек наблюдения на сетке 64×64

Ограничения

Оценка описана для ADE20K и протокола с полным обзором на первом шаге, затем с argmax-выбором кандидата. Карточка приводит метрики только для шагов t0–t2; обобщение на другие наборы данных не заявлено.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Viewpoint policy-gradient actor — ADE20K, c64, T=5

Glimpse-placement policy for a frozen CanViT, over a discrete grid of candidate viewpoints (2 scales x 16x16 centres): scores per candidate are policy logits trained on-policy by score-function credit (loss -(z * log pi) - entropy_bonus * H, K=1 fractional-CE rewards); deploy = full-scene glimpse at t0, argmax afterwards — the same deploy rule as the Q-regression policies. Method + code: CanViT-PyTorch-RL.

Provenance: run 20260707-012936_pgfloor_s3, git b7a85881a30e13e3b421d39b3cd20061f1bfe9fa, seed 3, step 7000 (deploy ckpt = best mean(t1-t4) validation CE over the run's evals). Backbone canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02; probe resolved for canvas grid 64. Full-val metrics at this step:

glimpse step tval CEval mIoU %
t00.764939.60
t10.714242.76
t20.689143.91
t30.675444.42
t40.665944.92
from canvit_pytorch_rl.policy.net import ViewpointScorer
net = ViewpointScorer.from_pretrained("canvit/pgpolicy-ade20k-c64-t5-floorband-2026-07-07-s3").eval()

Drive it through canvit_pytorch_rl.policy.deploy.ArgmaxPolicy + canvit_eval.run_episode for protocol-exact rollouts; canvit_pytorch_rl.policy.eval is the standalone evaluator.

Seed 3 of the 8-seed pg entropy-floor band (floor 1.0 nat), band objective 0.6865±0.0012 vs qband 0.6853±0.0007; see docs/sessions/2026-07-05-e2e-diff-single-image-probe.md.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · canvit-pytorch-rl

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов
9857f9e

0 моделей