/ Модель

Характеристики

Лицензия
CC BY-NC 4.0
Базовая модель
siglip-so400m-patch14-224
Библиотека
pytorch
Опубликована
4 окт 2026

vertag-fade

Эмбеддинги изображенийИзображение → embedding

FADE — модель поиска похожих товарных знаков по изображениям с разложением оценки сходства на вклады пар областей изображения.

0скачиваний за 30 дней0лайковвеса обновлены4 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FADE (Faithful Additive DEscriptor) — набор исследовательских чекпойнтов VERTAG, разработанных для поиска похожих товарных знаков и объяснения найденного сходства. В репозитории представлены варианты на основе SigLIP SO400M/14 и DINOv2-L/14 с регистрами; оба обрабатывают изображения размером 224 пикселя. Обучались последние два блока трансформера, финальная нормализация backbone и голова FADE, а основная часть backbone оставалась замороженной.

Голова аддитивного внимания объединяет токены изображения в дескриптор. Косинусное сходство двух дескрипторов можно точно разложить на вклады пар патчей, что позволяет связать оценку поиска с картой объяснения. В статье вариант SigLIP показал Recall@100 0,609 на указанной авторами оценке; это результат конкретного эксперимента, а не гарантия качества на других данных. Модель предназначена для исследований поиска товарных знаков и объяснения результатов; оценка сходства и карта вкладов не являются юридическим заключением о вероятности смешения.

Для обучения использовались пары для обнаружения копий из METU-v2 и пары «заявленный знак — цитируемый знак» из решений ведомства TIPO до 2023 года. Оценка на METU-v2 не является zero-shot, а часть знаков из обучающих пар также встречается среди цитирований в тестовых запросах. Чекпойнты выпущены под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.

Сценарии применения

  • поиск визуально похожих товарных знаков в коллекции
  • ранжирование товарных знаков по сходству с запросом
  • визуальное объяснение сходства двух товарных знаков по областям
  • исследование риска смешения товарных знаков как вспомогательная визуальная оценка

Ограничения

Модель обучалась на данных METU-v2 и решениях TIPO, поэтому результаты могут зависеть от сходства новых данных с этими наборами; оценка на METU-v2 не является zero-shot. Оценки сходства и карты объяснений не дают юридического заключения, а лицензия CC BY-NC 4.0 не разрешает коммерческое использование.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FADE checkpoints (VERTAG, ACCV 2026)

FADE (Faithful Additive DEscriptor) is the examiner-confusion retriever of VERTAG (ACCV 2026). A light additive attention-pooling head on a mostly frozen backbone pools an image's patch tokens $v_i$ into $d=\sum_i a_i v_i$, so the cosine between two trademarks decomposes exactly into patch-pair contributions $C_{ij}$ that sum to the retrieval score itself.

FileBackboneUse it forG1 R@100
fade_siglip_so400m.safetensorsSigLIP-SO400M/14, 224 pxretrieval: the strongest retriever in the paper (Tab. 3)0.609
fade_dinov2_vitl14_reg.safetensorsDINOv2-L/14 with registers, 224 pxthe model analysed in the paper (Tab. 2, Fig. 3) and the source of the explainer's region evidence0.146

Usage

The checkpoints are loaded by the code in the VERTAG repository.

git clone https://github.com/spaces-lalala/VERTAG.git
cd VERTAG/FADE
pip install -r requirements.txt
hf download MrFrogIsMe/vertag-fade --include "*.safetensors" --local-dir checkpoints

python explain.py --checkpoint checkpoints/fade_dinov2_vitl14_reg.safetensors \
    --applied applied.jpg --cited cited.jpg
python retrieve.py --checkpoint checkpoints/fade_siglip_so400m.safetensors \
    --gallery /path/to/gallery_dir --query query.jpg --explain 3

A file stores only the tensors training changed; the rest of the backbone is downloaded from its official pretrained weights on first use (DINOv2 from torch.hub, SigLIP from Hugging Face).

Model card

  • Source. These are the paper's models, not retrained ones. Each file is a slim export of the paper's checkpoint, and every tensor was checked against the original checkpoint when it was exported.
  • Architecture. Only the last two transformer blocks, the backbone's final norm and the FADE head were trained.
  • Training data. METU-v2 copy-detection pairs (its 417 queries excluded) mixed with examiner pairs (applied mark → cited mark) from TIPO office actions published up to 2023. The benchmark queries are the office actions after 2023. Evaluation on METU-v2 is therefore not zero-shot. Some prior marks cited against benchmark queries also occur in the training pairs; the paper reports the effect (Suppl. S1).
  • Intended use. Research on trademark retrieval and its explanation. A similarity score or a $C_{ij}$ map is not a legal assessment of likelihood of confusion.
FileSHA256
fade_dinov2_vitl14_reg.safetensors41702efeaa7ec5dc2350173996aefd6ef2805ef063e2af45f72417dcc3eadce6
fade_siglip_so400m.safetensorsd03b6aa280503a20947d8762dca2a1dbd946a54bdd2eef2c9515f0881e0a1a05

License

The weights are released under CC BY-NC 4.0; commercial use is prohibited. They are derived from DINOv2 and SigLIP, both Apache-2.0 (LICENSE-APACHE-2.0.txt).

Citation

@inproceedings{yen2026vertag,
  title     = {{VERTAG}: Visual Examiner Rationales for Trademarks with Atomic Grounding --- A Confusion Benchmark, Faithful Retriever, and Explanation-Coverage Metric},
  author    = {Yen, Sheng-Yuan and Chou, Chia-Yi and Peng, Chi-Tse and Ye, Chian-Yu and Yu, Tsan-Wei and Ko, Chih-Chun and Wu, Yi-Chieh},
  booktitle = {Proceedings of the Asian Conference on Computer Vision (ACCV)},
  year      = {2026}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch · image-feature-extraction

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
5b78198

0 моделей