/ Модель

Характеристики

Лицензия
MIT
Библиотека
canvit-pytorch-rl
Опубликована
4 июл 2026

qpolicy-ade20k-c64-t5-qband-2026-07-04-s3

Обучение с подкреплением3 профессии

Политика на базе CanViT выбирает точки обзора изображения для последовательной семантической сегментации сцен ADE20K.

13скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Viewpoint-Q policy — ADE20K, c64, T=5 — это обученная CanViT-PyTorch-RL политика размещения последовательных областей внимания для семантической сегментации сцен. Она оценивает Q-функцией дискретные точки обзора: два масштаба и сетку центров 16×16; используется замороженная базовая CanViT и дуэльная Q-голова, вычисляющая Q как сумму V и центрированного A. При запуске модель сначала получает полный обзор сцены, затем выбирает следующие точки по максимальному Q.

Модель предназначена для выбора последовательности визуальных фрагментов изображения ADE20K при сегментации. В README приведены метрики валидации для отдельных шагов, включая mIoU 43,97% на t2, а также агрегированный результат набора из восьми seed; эти агрегированные показатели не следует приписывать данному отдельному чекпойнту. Базовая модель — CanViT-B/16, предварительно обученная на ImageNet-21K и DV3B16. Репозиторий содержит веса safetensors и распространяется по лицензии MIT.

Сценарии применения

  • выбор областей изображения для последовательной сегментации сцен ADE20K
  • оценка стратегии размещения визуальных фрагментов по Q-функции
  • воспроизведение эпизодов сегментации с политикой argmax
  • сравнение качества сегментации на последовательных шагах просмотра

Ограничения

Модель настроена на протокол размещения фрагментов для ADE20K; приведённые агрегированные показатели относятся к набору из восьми seed, а не к этому отдельному seed. Для точного воспроизведения требуется запуск через указанные в README компоненты CanViT-PyTorch-RL.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Viewpoint-Q policy — ADE20K, c64, T=5

Glimpse-placement policy for a frozen CanViT: Q over a discrete grid of candidate viewpoints (2 scales x 16x16 centres); deploy = full-scene glimpse at t0, argmax afterwards. Dueling head (Q = V + mean-zero A); trained with K=1 fractional-CE rewards. Method + code: CanViT-PyTorch-RL.

Provenance: run 20260703-233058_qband_s3, git 007f7173e264d3ccdd6c735234ad246c102ed32c, seed 3, step 5000 (deploy ckpt = best mean(t1-t4) validation CE over the run's evals). Backbone canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02; probe resolved for canvas grid 64. Full-val metrics at this step:

glimpse step tval CEval mIoU %
t00.764939.60
t10.714242.76
t20.687043.97
t30.673144.65
t40.665044.83
from canvit_pytorch_rl.q.net import ViewpointScorer
net = ViewpointScorer.from_pretrained("canvit/qpolicy-ade20k-c64-t5-qband-2026-07-04-s3").eval()

Drive it through canvit_pytorch_rl.q.policy.ArgmaxPolicy + canvit_eval.run_episode for protocol-exact rollouts; canvit_pytorch_rl.policy.eval is the standalone evaluator.

One of the 8 published seeds of the 2026-07-04 qband (...-qband-2026-07-04-s{0..7}). Performance claims cite the BAND (mean(t1-t4) val CE 0.6853 +- 0.0007 over 8 seeds), never a single seed.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · canvit-pytorch-rl

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов
f9831b7

0 моделей