Характеристики

Лицензия: MIT
Библиотека: canvit-pytorch-rl
Опубликована: 4 июл 2026

Ссылки

Hugging Face

qpolicy-ade20k-c64-t5-qband-2026-07-04-s1

canvit

Обучение с подкреплением

Политика CanViT-PyTorch-RL выбирает точки визуального наблюдения для последовательной сегментации сцен ADE20K.

11скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это обученная политика выбора положения следующего визуального наблюдения для сегментации сцен ADE20K. Она разработана в рамках проекта CanViT-PyTorch-RL и использует замороженный визуальный backbone CanViT; поверх него работает дуэльная Q-сеть, оценивающая дискретные точки обзора на двух масштабах и сетке центров 16×16. Веса сохранены в формате safetensors.

Политика начинает с полного обзора сцены, а затем выбирает точки наблюдения по максимальному Q-значению. Модель предназначена для последовательной расстановки «взглядов» при сегментации изображений: в README приведены метрики validation cross-entropy и mIoU по шагам наблюдения. Это один из восьми опубликованных запусков, поэтому показатели одного чекпойнта не следует трактовать как среднее всей серии. Лицензия — MIT.

Сценарии применения

выбор следующей области изображения для анализа при сегментации сцен
последовательное уточнение семантической сегментации с ограниченным числом визуальных наблюдений
воспроизведение эпизодов визуального управления взглядом на сценах ADE20K

Ограничения

Чекпойнт является одним из восьми запусков; заявленные усреднённые показатели относятся ко всей серии, а не к этому отдельному seed. Политика рассчитана на описанный протокол ADE20K и CanViT с сеткой canvas 64.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Viewpoint-Q policy — ADE20K, c64, T=5

Glimpse-placement policy for a frozen CanViT: Q over a discrete grid of candidate viewpoints (2 scales x 16x16 centres); deploy = full-scene glimpse at t0, argmax afterwards. Dueling head (Q = V + mean-zero A); trained with K=1 fractional-CE rewards. Method + code: CanViT-PyTorch-RL.

Provenance: run 20260703-204905_qband_s1, git 04bd99c16b5648e856f0d0507a5b76b26509b3fd, seed 1, step 5000 (deploy ckpt = best mean(t1-t4) validation CE over the run's evals). Backbone canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02; probe resolved for canvas grid 64. Full-val metrics at this step:

glimpse step t	val CE	val mIoU %
t0	0.7649	39.60
t1	0.7154	42.45
t2	0.6876	43.94
t3	0.6736	44.52
t4	0.6644	44.94

from canvit_pytorch_rl.q.net import ViewpointScorer
net = ViewpointScorer.from_pretrained("canvit/qpolicy-ade20k-c64-t5-qband-2026-07-04-s1").eval()

Drive it through canvit_pytorch_rl.q.policy.ArgmaxPolicy + canvit_eval.run_episode for protocol-exact rollouts; canvit_pytorch_rl.policy.eval is the standalone evaluator.

One of the 8 published seeds of the 2026-07-04 qband (...-qband-2026-07-04-s{0..7}). Performance claims cite the BAND (mean(t1-t4) val CE 0.6853 +- 0.0007 over 8 seeds), never a single seed.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · canvit-pytorch-rl

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов: 124636e