/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
timm
Опубликована
14 сен 2026

m7c1f9a2e4b8d6035a71

Эмбеддинги изображенийИзображение → embedding3 профессии

Дообученный энкодер DINOv2 извлекает признаки визуального стиля китайского и английского текста для поиска и сопоставления надписей.

14скачиваний за 30 дней0лайковвеса обновлены14 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученный визуальный энкодер на базе DINOv2 ViT-S/14 для сравнения визуального стиля китайских и английских надписей. Модель разработана для извлечения признаков из обрезанных изображений текстовых фрагментов и строк; для работы достаточно включённых в репозиторий весов. Обработка сохраняет соотношение сторон и дополняет изображение до 112 × 448 пикселей.

Энкодер выдаёт три L2-нормированных вектора: общее представление типографики и внешнего вида размером 256, признаки шрифта размером 128 и признаки оформления размером 128, включая заливку, обводку, тень и прозрачность. Также доступны восемь локальных исследовательских токенов размерности 384. Эти представления подходят для сопоставления стиля внутри одного языка и между китайским и английским текстом; модель не распознаёт текст.

Модель лучше всего подходит для контролируемых синтетических изображений китайского и английского текста. Работа с реальными фотографиями, другими письменностями и использованием токенов как условий для генератора не проверялась. Лицензия — Apache-2.0.

Сценарии применения

  • поиск похожих китайских текстовых фрагментов по оформлению
  • сопоставление стиля английских надписей
  • межъязыковой поиск визуально похожей типографики
  • сравнение шрифтов и оформления текста на синтетических изображениях

Ограничения

Модель не выполняет OCR и лучше всего работает на контролируемых синтетических обрезках китайского и английского текста. Качество на реальных фотографиях, других письменностях и применение токенов для управления генерацией не проверялись.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Scene-text visual-style encoder (Chinese/English)

Chinese/English DINOv2 ViT-S/14 scene-text style encoder. It supports within-language and cross-language visual-style matching. The opaque repository name is not an access-control mechanism; this model is intentionally public.

Outputs

  • z_global [N,256]: overall typography and appearance.
  • z_font [N,128]: font/typography-oriented representation.
  • z_appearance [N,128]: fill, stroke, shadow, and opacity-oriented representation.
  • style_tokens [N,8,384]: local research tokens; not validated as generator conditioning.

The three z_* tensors are L2-normalized. Supply a tightly cropped text instance or line. Preprocessing preserves aspect ratio and pads to 112 x 448.

Install and use

git clone https://github.com/zqpresent/aaazhouquandecangku.git
cd aaazhouquandecangku
python -m pip install -e .
opaque-encoder download zqpresent/m7c1f9a2e4b8d6035a71 --local-dir weights
opaque-encoder encode --model weights --input crops --output styles.npz --device cpu --local-files-only

The complete fine-tuned backbone is included; no separate backbone download is required. The loader checks the SHA-256 value in config.json.

Training scope and limitations

60,000 bilingual/replay groups / 1,920,000 rendered scene views. Font families, Chinese character partitions, and background sources used for final evaluation were held out from task training. Best suited to controlled synthetic Chinese/English text crops. Real photographs, other scripts, and generator conditioning are not validated. The encoder does not perform OCR. Synthetic retrieval evidence is not real-world accuracy, and low content/background probe scores do not prove zero leakage.

verification.json records source-to-export numerical parity. The source training checkpoint, optimizer state, classifiers, data manifests, and local paths are not included in the inference weights.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · timm · image-feature-extraction

Можно запустить

Подбираем GPU…

Ревизия весов
1b9b087

0 моделей