/ Модель

Характеристики

Лицензия
MIT
Библиотека
canvit-pytorch-rl
Опубликована
4 июл 2026

qpolicy-ade20k-c64-t5-qband-2026-07-04-s0

Обучение с подкреплением3 профессии

Политика обучения с подкреплением выбирает точки обзора изображения, чтобы улучшить последовательную сегментацию сцен ADE20K с помощью CanViT.

9скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это политика размещения последовательных областей обзора для сегментации изображений ADE20K. Она разработана в проекте CanViT-PyTorch-RL и выбирает точки просмотра на дискретной сетке из двух масштабов и центров 16×16; на первом шаге используется обзор всей сцены, далее выбирается действие с максимальным Q-значением. Модель использует замороженный визуальный backbone CanViT и дуэлинговую Q-голову. Указанный backbone — canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02.

Чекпойнт обучен с дробными наградами на основе cross-entropy для ADE20K; в README приведены метрики валидации по cross-entropy и mIoU для нескольких шагов просмотра. Для точного воспроизведения протокола авторы рекомендуют запускать его через ArgmaxPolicy и canvit_eval.run_episode. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT. Это отдельный seed из серии из восьми моделей; показатели серии нельзя считать метриками именно этого чекпойнта.

Сценарии применения

  • выбор положения следующего фрагмента изображения для сегментации ADE20K
  • последовательный осмотр сцены с выбором масштаба и точки обзора
  • оценка политики размещения областей обзора в эксперименте по визуальной сегментации

Ограничения

Модель является политикой выбора областей обзора, а не самостоятельной универсальной моделью сегментации; для протокольно точного применения требуется evaluator из указанного стека. README предостерегает от переноса усреднённых показателей восьми seed на этот отдельный seed.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Viewpoint-Q policy — ADE20K, c64, T=5

Glimpse-placement policy for a frozen CanViT: Q over a discrete grid of candidate viewpoints (2 scales x 16x16 centres); deploy = full-scene glimpse at t0, argmax afterwards. Dueling head (Q = V + mean-zero A); trained with K=1 fractional-CE rewards. Method + code: CanViT-PyTorch-RL.

Provenance: run 20260703-191825_qband_s0, git bcb9742f3ad9b038b7fe1e8eb0e5acc02bb4bc7e, seed 0, step 5000 (deploy ckpt = best mean(t1-t4) validation CE over the run's evals). Backbone canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02; probe resolved for canvas grid 64. Full-val metrics at this step:

glimpse step tval CEval mIoU %
t00.764939.60
t10.714942.76
t20.688644.05
t30.674244.84
t40.665445.15
from canvit_pytorch_rl.q.net import ViewpointScorer
net = ViewpointScorer.from_pretrained("canvit/qpolicy-ade20k-c64-t5-qband-2026-07-04-s0").eval()

Drive it through canvit_pytorch_rl.q.policy.ArgmaxPolicy + canvit_eval.run_episode for protocol-exact rollouts; canvit_pytorch_rl.policy.eval is the standalone evaluator.

One of the 8 published seeds of the 2026-07-04 qband (...-qband-2026-07-04-s{0..7}). Performance claims cite the BAND (mean(t1-t4) val CE 0.6853 +- 0.0007 over 8 seeds), never a single seed.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · canvit-pytorch-rl

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов
79e44f9

0 моделей