/ Модель

Характеристики

Лицензия
MIT
Библиотека
canvit-pytorch-rl
Опубликована
4 июл 2026

qpolicy-ade20k-c64-t5-qband-2026-07-04-s4

Обучение с подкреплением

Политика CanViT-PyTorch-RL выбирает последовательность визуальных фрагментов для семантической сегментации изображений ADE20K.

6скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это политика размещения визуальных наблюдений Viewpoint-Q для сегментации сцен ADE20K, разработанная в проекте CanViT-PyTorch-RL. Она выбирает точки обзора из дискретной сетки кандидатов: два масштаба и центры 16×16; при запуске сначала получает полный обзор сцены, а затем выбирает следующие наблюдения по максимальному значению Q. Используется замороженная визуальная основа CanViT и дуэльная Q-голова, обученная с вознаграждением на основе fractional cross-entropy. Модель опубликована как один из восьми обученных seed-вариантов; приведённые результаты отдельного checkpoint не следует трактовать как усреднённую оценку семейства.

Модель предназначена для последовательного выбора визуальных фрагментов при семантической сегментации. README сообщает метрики валидации ADE20K для нескольких шагов наблюдения и указывает базовую модель canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02. Репозиторий использует safetensors и библиотеку canvit-pytorch-rl; лицензия — MIT. Языковые возможности не заявлены: входом служат изображения, а политика выдаёт выбор действия — следующую точку и масштаб наблюдения.

Сценарии применения

  • выбор следующего фрагмента изображения для сегментации ADE20K
  • адаптивное размещение визуальных наблюдений по сцене
  • последовательный сбор визуальных данных перед семантической сегментацией

Ограничения

Политика обучена для сценария ADE20K и дискретной сетки из двух масштабов и центров 16×16; перенос на другие наборы данных или схемы наблюдений не подтверждён. Приведённые метрики относятся к одному seed и не заменяют опубликованную агрегированную оценку восьми seed-вариантов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Viewpoint-Q policy — ADE20K, c64, T=5

Glimpse-placement policy for a frozen CanViT: Q over a discrete grid of candidate viewpoints (2 scales x 16x16 centres); deploy = full-scene glimpse at t0, argmax afterwards. Dueling head (Q = V + mean-zero A); trained with K=1 fractional-CE rewards. Method + code: CanViT-PyTorch-RL.

Provenance: run 20260704-005023_qband_s4, git 007f7173e264d3ccdd6c735234ad246c102ed32c, seed 4, step 4000 (deploy ckpt = best mean(t1-t4) validation CE over the run's evals). Backbone canvit/canvitb16-add-vpe-pretrain-g128px-s512px-in21k-dv3b16-2026-02-02; probe resolved for canvas grid 64. Full-val metrics at this step:

glimpse step tval CEval mIoU %
t00.764939.60
t10.713042.57
t20.687143.88
t30.674244.60
t40.664844.96
from canvit_pytorch_rl.q.net import ViewpointScorer
net = ViewpointScorer.from_pretrained("canvit/qpolicy-ade20k-c64-t5-qband-2026-07-04-s4").eval()

Drive it through canvit_pytorch_rl.q.policy.ArgmaxPolicy + canvit_eval.run_episode for protocol-exact rollouts; canvit_pytorch_rl.policy.eval is the standalone evaluator.

One of the 8 published seeds of the 2026-07-04 qband (...-qband-2026-07-04-s{0..7}). Performance claims cite the BAND (mean(t1-t4) val CE 0.6853 +- 0.0007 over 8 seeds), never a single seed.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · canvit-pytorch-rl

Нельзя запустить

RL-агенты не запускаются как сервис инференса.

Ревизия весов
76899ee

0 моделей