/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
regnetx_080.tv2_in1k
Библиотека
regnetx-det
Опубликована
17 авг 2026

regnetx-8gf-polyline-hebrew-samaritan

Поиск объектовИзображение → bounding_boxes

Детектор на RegNetX-8GF для нахождения базовых линий в еврейских и самаритянских рукописях с экспортом полилиний в PAGE-XML и ALTO.

0скачиваний за 30 дней1лайквеса обновлены22 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель johnlockejrr/regnetx-8gf-polyline-hebrew-samaritan разработана для обнаружения базовых линий текста в рукописях на еврейском квадратном письме и самаритянском письме. Это дообученный чекпойнт архитектуры RegNetX-8GF с D-FINE HybridEncoder и PolylineTransformer; он предсказывает линии в виде полилиний с оценками уверенности и подходит для экспорта результатов в PAGE-XML и ALTO в составе конвейеров HTR.

Модель предназначена для обработки страниц рукописей и исследовательского сравнения детекторов базовых линий. Внутренняя проверка на отложенной выборке из 261 страницы показала максимальный cBAD-подобный F1 около 0,969 при пороге уверенности 0,40; это результат на выборке для иврита и самаритянского письма, а не официальная оценка ICDAR cBAD 2019. Для вывода рекомендуется размер холста 1280 и порог 0,40.

Модель не распознаёт текст и не предназначена для обнаружения областей макета, таких как абзацы, таблицы и иллюстрации. Восемь контрольных точек могут недостаточно точно описывать сильно изогнутые или повреждённые строки; размер холста при оценке и инференсе должен совпадать с использованным при обучении. Лицензия — Apache-2.0.

Сценарии применения

  • поиск базовых линий в еврейских средневековых рукописях
  • поиск строк в самаритянских рукописях
  • подготовка страниц к распознаванию рукописного текста в HTR-конвейере
  • экспорт найденных строк в PAGE-XML
  • экспорт полилиний строк в ALTO

Ограничения

Модель только обнаруживает линии и не выполняет транскрипцию текста или обнаружение областей макета. Оценка F1 получена на внутренней выборке еврейских и самаритянских рукописей, а восемь контрольных точек могут плохо описывать сильно изогнутые или повреждённые строки; размер холста при инференсе должен быть 1280.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

regnetx-8gf-polyline-hebrew-samaritan

Hebrew + Samaritan polyline baseline detector: RegNetX-8GF + D-FINE HybridEncoder + PolylineTransformer.

Hub repo: johnlockejrr/regnetx-8gf-polyline-hebrew-samaritan
Primary file: best_cbad_f1.safetensors (~208 MB)
Paper (Zenodo preprint): doi:10.5281/zenodo.22059333
Recommended inference confidence: 0.40 (CLI --conf 0.4). 0.50 is a close alternative.

Code: regnetx-det (standalone sibling of dfine-det and convnextv2-det).

This is a domain fine-tune on Hebrew/Samaritan manuscripts from the native RegNetX Stage-0 foundation. For the multiscript Stage-0 checkpoint, see johnlockejrr/regnetx-8gf-polyline-baseline-stage0 (cbad_f1_max ≈ 0.936 on the shared Stage-0 val split; 0.953 zero-shot on this Hebrew+Samaritan val).


Model summary

ArchitectureRegNetXPolylineModel — timm RegNetX-8GF → HybridEncoder (C3/C4/C5) → PolylineTransformer
Backboneregnetx_080.tv2_in1k (ImageNet-1K V2)
NeckD-FINE HybridEncoder (hidden_dim=256, strides 8/16/32)
Parameters~54.1 M (all trainable after epoch 1)
Queries300
Geometry(K=8) cubic B-spline control points per line + height
Canvas(1280\times1280) letterbox
InitNative RegNetX Stage-0 (full model load, 1177 tensors — backbone + encoder + decoder)
TaskDocument baseline / text-line detection → PAGE or ALTO export

Detection is set prediction of scored polylines. Polygonal line environments (BLLA) are applied only at PAGE/ALTO serialize time.


Intended use

Use for

  • Hebrew square-script and Samaritan manuscript baseline detection
  • PAGE-XML / ALTO export for HTR pipelines (RTL: --text-direction horizontal-rl)
  • Research comparing RegNetX vs ConvNeXt / D-FINE polyline siblings on the same Arrow

Not for

  • Official ICDAR cBAD 2019 test claims (this val split is Hebrew+Samaritan only)
  • Production OCR transcription (lines only; no text recognition)
  • Layout region detection (paragraphs, tables, illustrations)
  • Treating cbad_f1 @ conf 0.1 as the quality number (see operating point below)

Training data

Same Arrow as the dfine-det / convnextv2-det Hebrew+Samaritan combined recipes:

SplitPages
Train1758
Val261

Sources (PAGE-XML baselines):

  • Hebrew medieval manuscripts (Hebrew_Medieval-seg)
  • Samaritan manuscripts (sam_44_mss_pango_additional; manuscript-level split, seed 42)

Compiled with adaptive simplify → uniform cubic B-spline, (K=8), original-normalized coords (letterboxed at load time).


Training recipe

Config: configs/hebrew_samaritan_regnetx_stage0_finetune_balanced.yaml.

HyperparameterValue
InitNative RegNetX Stage-0 PRETRAIN/regnetx_stage0/best_cbad_f1.safetensors (full model load, 1177 tensors)
OptimizerAdamW; base LR (3\times10^{-5}), backbone (0.2\times)
Freezebackbone frozen for first 1 epoch (freeze_backbone_epochs: 1)
ScheduleLinear warmup 1 epoch + cosine
Precisionbf16-mixed
Effective batch8 (micro-batch 4 × accumulate 2)
Epochs (cap)150; early-stop on cbad_f1_max (patience 30, min_delta 0.0005, min 15)
AugmentMild photometric + small rotation (OOB lines dropped)
Match distance20 px on the 1280 canvas
Monitorcbad_f1_max over conf ∈ {0.1, 0.2, 0.3, 0.4, 0.5, 0.6}
Seed42

FPN-only recipes on the same data plateaued (~0.61 for 8GF, ~0.31 for 032). HybridEncoder + Stage-0 encoder transfer is the working path.

Training ran until early-stop (~epoch 90). The released snapshot is the monitored best (cbad_f1_max ≈ 0.969 at conf 0.40), not the last epoch.

Previous release used D-FINE Stage-0 warm-start (configs/hebrew_samaritan_stage0_hybrid.yaml), reaching cbad_f1_max ≈ 0.942. The native RegNetX Stage-0 balanced finetune improves this by +0.027 F1.


Evaluation (internal val)

Metric: cBAD-style line F1 — Hungarian matching of densified polylines with mean bidirectional Chamfer cost; TP if cost ≤ 20 px.

Released checkpoint

MetricValueNotes
cbad_f1_max0.969Best monitor; operating conf = 0.40
Precision @ 0.40.967Best-epoch sweep
Recall @ 0.40.972Best-epoch sweep
cbad_f1 @ 0.10.850Logged bar metric — not the production score
Weightsbest_cbad_f1.safetensorsAlso best_0.9713.safetensors

Conf sweep (locked-in test on best checkpoint)

confF1PRmean chamferNotes
0.100.8500.7430.9942.79Recall-heavy debug only
0.200.9490.9120.9903.21
0.300.9630.9480.9783.81Extra recall
0.400.9690.9670.9723.83Recommended
0.500.9660.9750.9573.87CLI default; close
0.600.9660.9850.9483.23High precision

cbad_f1 on the train progress bar is fixed conf=0.1. cbad_f1_max is the sweep max. Compare systems on cbad_f1_max (or F1 at a stated conf).

Stage-0 zero-shot baseline (same val, same metric)

confF1PRmean chamfer
0.100.8050.6790.9893.14
0.200.9300.8890.9754.30
0.300.9530.9410.9664.31
0.400.9510.9570.9465.00
0.500.9500.9730.9284.44
0.600.9440.9820.9084.17

Stage-0 best: conf=0.30 cbad_f1=0.953. Finetune gain: +0.016 F1 (0.953 → 0.969) at respective best confs.

Sibling bake-off (same Hebrew+Samaritan Arrow family)

ModelNeckInitBest cbad_f1_max
RegNetX-8GF + FPNFPNImageNet~0.61
ConvNeXtV2-Tiny + FPNFPNImageNet~0.79
ConvNeXtV2-Base + FPNFPNImageNet~0.89–0.90
RegNetX-8GF + HybridEncoderHybridEncoderD-FINE Stage-0 (prev. release)0.942
RegNetX-8GF + HybridEncoderHybridEncoderNative Stage-0 zero-shot0.953
This checkpointHybridEncoderNative Stage-0 balanced0.969
D-FINE-L Stage-1 (same domain, different stack)HybridEncoderD-FINE Stage-0~0.95–0.96

Numbers are internal val, not a shared official test protocol.


How to use

Install

cd /path/to/regnetx-det
python3 -m venv .venv && source .venv/bin/activate
pip install -e ".[dev]"

Inference (PAGE XML)

huggingface-cli download johnlockejrr/regnetx-8gf-polyline-hebrew-samaritan \
  best_cbad_f1.safetensors --local-dir weights/hebrew_samaritan_hybrid

regnetx-det infer \
  -w weights/hebrew_samaritan_hybrid/best_cbad_f1.safetensors \
  --image page.jpg \
  -o page.xml \
  --format page \
  --conf 0.4

# ATR-style per-page (RTL Hebrew/Samaritan):
regnetx-det infer-page \
  -m weights/hebrew_samaritan_hybrid/best_cbad_f1.safetensors \
  -d cuda:0 \
  --conf 0.4 \
  --text-direction horizontal-rl \
  page.jpg

infer / infer-page default --conf is 0.5 (close to the sweep winner). Pass --conf 0.4 to match cbad_f1_max.

Fine-tune further

train:
  load: best_cbad_f1.safetensors   # this release (full weights)
  backbone: regnetx_080.tv2_in1k
  pretrained_backbone: false
  monitor: cbad_f1_max
  image_size: 1280

Files in this release

FileDescription
best_cbad_f1.safetensorsRecommended weights (~208 MB)
best_0.9713.safetensorsSame snapshot, score-tagged filename
README.mdThis model card

Limitations

  • Val F1 is Hebrew+Samaritan holdout, not official cBAD 2019 test.
  • (K=8) control points underfit strongly curved / torn lines.
  • Export uses EMA when warmed during train; released file is the monitored best snapshot.
  • HybridEncoder eval_spatial_size must match the canvas (1280). Do not run eval/infer at a different square size than training.

Citation & credits

Paper (prefer this)

Preprint: regnetx-det: Set-Prediction Polyline Baselines for Historical Documents with HybridEncoder Transfer (Zenodo, Aug 2026).

@misc{bors2026regnetxdet,
  author       = {Bors, Teodor},
  title        = {regnetx-det: Set-Prediction Polyline Baselines for Historical Documents with HybridEncoder Transfer},
  year         = {2026},
  month        = aug,
  publisher    = {Zenodo},
  version      = {v1},
  doi          = {10.5281/zenodo.22059333},
  url          = {https://doi.org/10.5281/zenodo.22059333}
}

D-FINE (HybridEncoder, deformable decoder, Stage-0 polyline weights)

@inproceedings{peng2025dfine,
  title     = {D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement},
  author    = {Peng, Yansong and Li, Hebei and Wu, Peixi and Zhang, Yueyi and Sun, Xiaoyan and Wu, Feng},
  booktitle = {The Thirteenth International Conference on Learning Representations},
  year      = {2025},
  url       = {https://arxiv.org/abs/2410.13842}
}

RegNetX backbone

Radosavovic et al., Designing Network Design Spaces, CVPR 2020. Weights via timm regnetx_080.tv2_in1k.

This checkpoint (weights)

@software{regnetx_det_hebrew_samaritan_balanced,
  title  = {RegNetX-8GF HybridEncoder Polyline Baselines (Hebrew + Samaritan, Stage-0 Balanced Finetune)},
  author = {Bors, Teodor},
  year   = {2026},
  note   = {Fine-tuned from native RegNetX Stage-0; cbad_f1_max 0.969 at conf 0.40; see Zenodo preprint doi:10.5281/zenodo.22059333},
  url    = {https://huggingface.co/johnlockejrr/regnetx-8gf-polyline-hebrew-samaritan}
}

Additional notices

  • Vendored D-FINE modules: THIRD_PARTY_NOTICES.md (Apache-2.0, © 2024 The D-FINE Authors).
  • PAGE polygonalization: Kraken/BLLA subset (Apache-2.0, © Benjamin Kiessling) — export only, hardened with CLAHE/Sauvola fallback.
  • Training images: respect each corpus license; this card does not redistribute the PAGE/JPEG data.

License

Apache License 2.0 for regnetx-det code and these weights. Downstream users must also comply with licenses of datasets used in further fine-tuning.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · regnetx-det · object-detection

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
1d8e8a7

0 моделей