/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
11 июл 2026

scout-eccv-v17

ЭмбеддингиТекст → embedding3 профессии

SCOUT кодирует текст и видеоданные в векторы для поиска людей в видео по текстовым описаниям.

33скачиваний за 30 дней0лайковвеса обновлены20 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Abdrah/scout-eccv-v17 — модель SCOUT для поиска людей в видео по текстовому описанию. Она создана для системы Sim-to-Real Text-Based Person Retrieval и представлена в работе для воркшопа ECCV 2026. Модель сочетает замороженный видеокодировщик V-JEPA2 ViT-L/16, замороженный текстовый кодировщик EmbeddingGemma-300M и обучаемый предиктор из 24 слоёв. Всего в рецепте 1 161,8 млн параметров, из них обучаемых — 549,6 млн.

Модель кодирует изображения и текст в нормализованные векторы, пригодные для сопоставления текстового описания с видеоданными и поиска подходящих людей. В репозитории находятся обученные параметры предиктора и конфигурация; веса замороженных кодировщиков загружаются из отдельных публичных источников. Валидационные показатели, приведённые в README: mAP@10 0,8639 и Hit@10 0,9862.

Лицензия — Apache-2.0. Указанная конфигурация принимает изображения размером 384×384 и текстовые описания; поддерживаемые языки в карточке не обозначены. Модель ориентирована на исследовательский сценарий поиска людей по видео, поэтому приведённые результаты не гарантируют такую же точность на других данных и условиях съёмки.

Сценарии применения

  • поиск человека в видеозаписи по текстовому описанию внешности
  • сопоставление текстового запроса с видеокадрами
  • извлечение признаков для текстового поиска людей в видео
  • эксперименты по переносу видеопоиска из симуляции в реальные данные

Ограничения

В репозитории отсутствуют веса замороженных видеокодировщика и текстового кодировщика, их нужно загружать из отдельных источников. В README приведены только валидационные результаты; обобщение на другие данные и условия съёмки не установлено.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

scout-eccv-v17

Part of SCOUT (Sim-to-real Contrastive Outlier Understanding via Text), an ECCV 2026 workshop paper on JEPA-based text-based person re-identification for the AI City Challenge Track 4 (Sim2Real). Paper: SCOUT: Sim-to-Real Text-Based Person Retrieval by Embedding-Space Prediction over Frozen Video Features Code: https://github.com/abtraore/SCOUT-ECCV

Baseline SCOUT recipe: frozen V-JEPA2 ViT-L/16 (X) + frozen EmbeddingGemma-300M (Y) + a trainable 24-layer predictor, K=64 concat readout, per-forward batch 128.

  • Val mAP@10: 0.8639
  • Val Hit@10: 0.9862
  • Trainable / total parameters: 549.6M / 1161.8M

The largest single ablation lever in the paper (per-forward InfoNCE batch, +0.094 mAP across the sweep) landed here. A fusion member of the paper's headline board system.

What's in this repo

Only the parameters SCOUT actually trained: a model.safetensors (trainable predictor weights, and for ExPLoRA/LoRA variants, the adapted encoder deltas) plus a config.json recording the exact recipe. Frozen backbone weights (V-JEPA2 from Meta, the text encoder from its own source) are not included here; they're downloaded from their own public sources at load time.

Usage

from scripts.load_from_hf import load_from_hf

model = load_from_hf("Abdrah/scout-eccv-v17").eval()
# model.encode_image(pixel_values)  # [B, 3, 384, 384] in [0, 1] -> [B, out_dim] L2-normalized
# model.encode_text(["a caption"])  # -> [B, out_dim] L2-normalized

Or drop it straight into the repo's own evaluation script:

uv run python scripts/local_eval.py --hf-repo Abdrah/scout-eccv-v17 --pab-root /path/to/PAB --query-source val

License

Apache 2.0 (see the source repo's LICENSE/NOTICE). This checkpoint does not redistribute any frozen backbone weights, which carry their own upstream licenses.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
a662288

0 моделей