/ Модель

Характеристики

Размер весов
5,1 ГБ
Лицензия
MIT
Архитектура
unet · dense
Опубликована
24 июн 2026

ink_3d_dino_guided

Сегментация изображенийИзображение → mask3 профессии

3D U-Net сегментирует чернила в микротомографических объёмах папируса PHerc. Paris 4 для виртуального разворачивания и чтения свитка.

16 918скачиваний за 30 дней0лайковвеса обновлены5 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель scrollprize/ink_3d_dino_guided разработана для сегментации чернил непосредственно в трёхмерных микрокомпьютерных томограммах папируса PHerc. Paris 4. Она предназначена для виртуального разворачивания и чтения обугленного свитка из Геркуланума, где чернила различимы в объёмных данных CT.

Это плотная 3D-сеть типа residual-encoder U-Net, построенная в стиле nnU-Net, примерно на 142 млн параметров, с одним выходным каналом вероятности чернил. На вход подаются одноканальные CT-фрагменты размером 256³; обучение объединяло разметку экспертов, руководство представлениями 3D DINOv2, маскирование фона и само-дистилляцию. Для вывода рекомендуется EMA-чекпойнт. Модель распространяется в формате PyTorch по лицензии MIT.

Модель ориентирована на папирус PHerc. Paris 4 и обучение использовало данные нескольких свитков, поэтому качество на других сканах и материалах может отличаться. Для применения требуются CT-объёмы и пакет vesuvius для построения сети; модель выдаёт маску сегментации, а не распознанный текст.

Сценарии применения

  • выделение чернил в 3D-томограммах папируса
  • подготовка масок чернил для виртуального разворачивания свитка
  • поиск областей с чернилами в сканах Геркуланумского папируса

Ограничения

Модель обучена на данных PHerc. Paris 4 и связанных папирусов; перенос на другие сканы может потребовать проверки. Она выдаёт маску чернил и сама не распознаёт текст.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PHerc. Paris 4 — volumetric 3D ink segmentation (DINO-guided, self-distilled)

Segments ink directly in 3D in micro-CT of PHerc. Paris 4, where ink is volumetrically visible. This model provides the independent volumetric validation of surface-conditioned ink recovery reported in "Complete virtual unwrapping and reading of a rolled Herculaneum papyrus" (Angelotti et al., arXiv:2606.29085, 2026).

Model details

Architecturevesuvius NetworkFromConfig nnU-Net-style 3D residual-encoder U-Net (~142 M params), single sigmoid ink head
Input1-channel CT, 256³ patches, percentile min-max normalisation, full-3D mode (projection half-thickness 3 voxels)
OptimisationSGD + Nesterov, cosine LR (base 1e-2, warmup 5000), bf16, Dice+BCE with 0.1 label smoothing, weight EMA
This checkpointstep 78,000 · W&B run 4b07qv8p (ps256_3d_bcedice_dinoguided_paris4_v3_fullsup)
Weightsmodel (raw) and ema_model (EMA — recommended for inference)

DINO-guided supervision + self-distillation

Trained in stages: (1) teacher on 8-scroll surface-conditioned ink labels (PHerc. Paris 4, 0139, 0500P2, 0814, 0841, 1667, MAN5, 9B); (2) a DINO-guided student using dense ink-likeness from the 3D DINOv2 representation model scrollprize/dinovol_v2_ps8_with_paris4_352500; (3) + background masking; (4) self-distillation. DINO guidance compares each 864-D patch token to a reference ink embedding (avg_ref_embedding.npy, the L2-normalised mean of 256 expert-clicked tokens stored in recorded_embeddings*.npy) at threshold τ = 0.5. Full configuration is in Supplementary Table 4 of the paper.

Files

  • ckpt_78k_fullsup.pth — checkpoint with model + ema_model (use ema_model for inference). Training/inference config embedded under config and mirrored in config.json.
  • config.json — training/inference configuration.
  • avg_ref_embedding.npy — (864,) reference ink embedding for DINO guidance.
  • recorded_embeddings.npy, recorded_embeddings_2.npy — (128, 864) each; the expert-clicked DINO tokens (256 total) the reference embedding is averaged from.

How to load

import torch, numpy as np
ck    = torch.load("ckpt_78k_fullsup.pth", map_location="cpu", weights_only=False)
state = ck["ema_model"]                    # recommended
cfg   = ck["config"]                       # == config.json
ref   = np.load("avg_ref_embedding.npy")   # (864,) reference ink embedding
# Build the network with the vesuvius package (NetworkFromConfig(cfg)), then load_state_dict(state)

The vesuvius package and inference code are in https://github.com/ScrollPrize/villa.

Related models

Links

Citation

@misc{angelotti2026unwrapping,
  title         = {Complete virtual unwrapping and reading of a rolled Herculaneum papyrus},
  author        = {Angelotti, Giorgio and others},
  year          = {2026},
  eprint        = {2606.29085},
  archivePrefix = {arXiv},
  primaryClass  = {eess.IV},
  doi           = {10.48550/arXiv.2606.29085}
}

License

MIT — released by the Vesuvius Challenge. The underlying tomographic data are distributed under CC BY-NC 4.0 (see the data links above).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура unet неизвестна transformers в образе рантайма.

Ревизия весов
73a7952

0 моделей