/ Модель

Характеристики

Лицензия
MIT
Библиотека
canvit-pytorch-rl
Опубликована
7 июл 2026

pgpolicy-ade20k-c64-t5-floorband-2026-07-07-s2

Обучение с подкреплением3 профессии

Политика CanViT-PyTorch-RL выбирает точки визуального наблюдения для пошаговой сегментации сцен ADE20K.

8скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это политика размещения визуальных наблюдений, обученная методом policy gradient для сегментации сцен на ADE20K. Модель разработана в проекте CanViT-PyTorch-RL и оценивает кандидатов на точку наблюдения: две масштаба и сетку центров 16×16; оценки используются как логиты политики. Политика обучалась на замороженном backbone CanViT для canvas grid 64.

При применении сначала выполняется полный обзор сцены, затем на каждом шаге выбирается кандидат с наибольшим логитом. В README приведены метрики валидации по cross-entropy и mIoU для нескольких шагов наблюдения; модель предназначена для протокольно согласованных эпизодов оценки и размещения glimpses при сегментации. Она не является универсальной чат-моделью или самостоятельным генератором изображений.

Чекпойнт получен как один из восьми запусков серии policy-gradient с entropy-floor, seed 2, на шаге 8000; базовая модель — canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02. В репозитории указаны веса safetensors и библиотека CanViT-PyTorch-RL. Лицензия — MIT.

Сценарии применения

  • выбор следующего участка изображения для визуального анализа
  • пошаговая сегментация сцен ADE20K
  • оценка политик размещения визуальных наблюдений
  • запуск эпизодов CanViT с выбором glimpses по argmax

Ограничения

Политика рассчитана на конкретный протокол CanViT и дискретную сетку кандидатов для ADE20K; README не подтверждает применимость к другим наборам данных или сценариям. Для воспроизводимых эпизодов требуются инструменты CanViT-PyTorch-RL и соответствующий исполнитель политики.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Viewpoint policy-gradient actor — ADE20K, c64, T=5

Glimpse-placement policy for a frozen CanViT, over a discrete grid of candidate viewpoints (2 scales x 16x16 centres): scores per candidate are policy logits trained on-policy by score-function credit (loss -(z * log pi) - entropy_bonus * H, K=1 fractional-CE rewards); deploy = full-scene glimpse at t0, argmax afterwards — the same deploy rule as the Q-regression policies. Method + code: CanViT-PyTorch-RL.

Provenance: run 20260706-234636_pgfloor_s2, git b7a85881a30e13e3b421d39b3cd20061f1bfe9fa, seed 2, step 8000 (deploy ckpt = best mean(t1-t4) validation CE over the run's evals). Backbone canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02; probe resolved for canvas grid 64. Full-val metrics at this step:

glimpse step tval CEval mIoU %
t00.764939.60
t10.714942.74
t20.687043.93
t30.674044.37
t40.665144.77
from canvit_pytorch_rl.policy.net import ViewpointScorer
net = ViewpointScorer.from_pretrained("canvit/pgpolicy-ade20k-c64-t5-floorband-2026-07-07-s2").eval()

Drive it through canvit_pytorch_rl.policy.deploy.ArgmaxPolicy + canvit_eval.run_episode for protocol-exact rollouts; canvit_pytorch_rl.policy.eval is the standalone evaluator.

Seed 2 of the 8-seed pg entropy-floor band (floor 1.0 nat), band objective 0.6865±0.0012 vs qband 0.6853±0.0007; see docs/sessions/2026-07-05-e2e-diff-single-image-probe.md.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · canvit-pytorch-rl

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов
7f7dc13

0 моделей