Характеристики

Лицензия: MIT
Библиотека: canvit-pytorch-rl
Опубликована: 4 июл 2026

Ссылки

qpolicy-ade20k-c64-t5-qband-2026-07-04-s6

Обучение с подкреплением

Политика CanViT с обучением с подкреплением выбирает последовательность точек обзора для улучшения сегментации сцен ADE20K.

5скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это политика выбора точки обзора для последовательной сегментации сцен на наборе ADE20K. Она разработана в рамках CanViT-PyTorch-RL и использует замороженную основу CanViT-B/16 с предварительным обучением на ImageNet-21K и DataComp-3B. Q-сеть оценивает дискретную сетку возможных положений взгляда: два масштаба и центры сетки 16×16; дуэльная голова вычисляет Q как сумму оценки состояния и центрированного преимущества действия. Во время работы сначала выполняется обзор всего кадра, затем на каждом шаге выбирается действие с максимальным Q.

Модель обучена для ADE20K с наградой на основе дробной cross-entropy при K=1. В README приведены метрики валидации для первых шагов последовательности, включая mIoU 43,60% на шаге t2; показатели отдельного чекпойнта нельзя считать результатом всего набора из восьми seed, для которого авторы приводят усреднённые значения. Репозиторий содержит веса safetensors и выпущен по лицензии MIT. Это исследовательский чекпойнт для экспериментов с активным выбором обзоров при семантической сегментации, а не универсальная политика для произвольных сцен или сред.

Сценарии применения

выбор следующего положения взгляда при сегментации сцены ADE20K
эксперименты с активным визуальным восприятием по последовательным обзорам
сравнение политик выбора пространственных фрагментов изображения
оценка Q-политик на задаче семантической сегментации

Ограничения

Политика обучена для ADE20K и конкретного протокола с замороженной основой CanViT и сеткой из двух масштабов и центров 16×16; перенос на другие данные и среды не описан. Метрики одного seed не следует трактовать как усреднённый результат опубликованной серии из восьми seed.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Viewpoint-Q policy — ADE20K, c64, T=5

Glimpse-placement policy for a frozen CanViT: Q over a discrete grid of candidate viewpoints (2 scales x 16x16 centres); deploy = full-scene glimpse at t0, argmax afterwards. Dueling head (Q = V + mean-zero A); trained with K=1 fractional-CE rewards. Method + code: CanViT-PyTorch-RL.

Provenance: run 20260704-032949_qband_s6, git 007f7173e264d3ccdd6c735234ad246c102ed32c, seed 6, step 7000 (deploy ckpt = best mean(t1-t4) validation CE over the run's evals). Backbone canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02; probe resolved for canvas grid 64. Full-val metrics at this step:

glimpse step t	val CE	val mIoU %
t0	0.7649	39.60
t1	0.7148	42.44
t2	0.6891	43.60
t3	0.6743	44.44
t4	0.6658	44.87

from canvit_pytorch_rl.q.net import ViewpointScorer
net = ViewpointScorer.from_pretrained("canvit/qpolicy-ade20k-c64-t5-qband-2026-07-04-s6").eval()

Drive it through canvit_pytorch_rl.q.policy.ArgmaxPolicy + canvit_eval.run_episode for protocol-exact rollouts; canvit_pytorch_rl.policy.eval is the standalone evaluator.

One of the 8 published seeds of the 2026-07-04 qband (...-qband-2026-07-04-s{0..7}). Performance claims cite the BAND (mean(t1-t4) val CE 0.6853 +- 0.0007 over 8 seeds), never a single seed.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · canvit-pytorch-rl

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов: a8d446b