/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
timm
Опубликована
14 сен 2026

m2d8e6c4f1a9b7350e42

Эмбеддинги изображенийИзображение → embedding3 профессии

Дообученный энкодер на базе DINOv2 извлекает типографические и визуальные признаки китайского сценического текста для сравнения стиля надписей.

13скачиваний за 30 дней0лайковвеса обновлены14 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это специализированный визуальный энкодер стиля китайского сценического текста на основе DINOv2 ViT-S/14, дообученный для представления типографики и визуального оформления, а не распознавания содержания надписи. Он принимает плотно обрезанное изображение текстового фрагмента или строки; предварительная обработка сохраняет пропорции и дополняет изображение до 112 × 448 пикселей.

Модель возвращает L2-нормированные векторы общего визуального стиля, типографики и оформления заливки, обводки, тени и прозрачности, а также локальные токены для исследовательских экспериментов. Основной сценарий — извлечение признаков и сравнение стиля китайских надписей в контролируемом синтетическом домене. Английский поддерживается слабее; для двух письменностей рекомендуется двуязычный вариант. Данные синтетического поиска не подтверждают точность на реальных изображениях, а токены не проверены как условие для генератора. Репозиторий содержит полную дообученную основу; веса опубликованы в формате safetensors по лицензии Apache-2.0.

Сценарии применения

  • поиск надписей с похожим типографическим стилем
  • извлечение признаков шрифта и оформления китайского текста на изображениях
  • сравнение заливки, обводки, тени и прозрачности текстовых фрагментов
  • группировка визуально похожих китайских надписей

Ограничения

Модель рассчитана прежде всего на контролируемый синтетический домен китайских надписей; качество для английского ниже. Она не выполняет OCR, а синтетические результаты поиска не подтверждают точность на реальных изображениях.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Scene-text visual-style encoder (Chinese-specialized)

Chinese-specialized DINOv2 ViT-S/14 scene-text style encoder. It represents typography and visual appearance, not text identity. The opaque repository name is not an access-control mechanism; this model is intentionally public.

Outputs

  • z_global [N,256]: overall typography and appearance.
  • z_font [N,128]: font/typography-oriented representation.
  • z_appearance [N,128]: fill, stroke, shadow, and opacity-oriented representation.
  • style_tokens [N,8,384]: local research tokens; not validated as generator conditioning.

The three z_* tensors are L2-normalized. Supply a tightly cropped text instance or line. Preprocessing preserves aspect ratio and pads to 112 x 448.

Install and use

git clone https://github.com/zqpresent/aaazhouquandecangku.git
cd aaazhouquandecangku
python -m pip install -e .
opaque-encoder download zqpresent/m2d8e6c4f1a9b7350e42 --local-dir weights
opaque-encoder encode --model weights --input crops --output styles.npz --device cpu --local-files-only

The complete fine-tuned backbone is included; no separate backbone download is required. The loader checks the SHA-256 value in config.json.

Training scope and limitations

40,000 counterfactual groups / 640,000 rendered scene views. Font families, Chinese character partitions, and background sources used for final evaluation were held out from task training. Best suited to the controlled Chinese synthetic domain. English retention is weaker; use the bilingual artifact when both scripts are needed. The encoder does not perform OCR. Synthetic retrieval evidence is not real-world accuracy, and low content/background probe scores do not prove zero leakage.

verification.json records source-to-export numerical parity. The source training checkpoint, optimizer state, classifiers, data manifests, and local paths are not included in the inference weights.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · timm · image-feature-extraction

Можно запустить

Подбираем GPU…

Ревизия весов
1ae1f9b

0 моделей