/ Модель

Характеристики

Контекст
512 токенов
Лицензия
MIT
Архитектура
vision-encoder-decoder · dense
Библиотека
transformers
Опубликована
8 ноя 2023

trocr-medieval-escriptmask

Изображение и текст → текст3 профессии

TrOCR распознаёт рукописные строки средневековых латинских документов по изображениям отдельных строк.

149скачиваний за 30 дней2лайкавеса обновлены23 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель TrOCR для распознавания рукописных текстовых строк в средневековых латинских документах. Разработана Jonas Widmer и Tobias Hodel в рамках Digital Humanities@University of Bern на базе microsoft/trocr-base-handwritten; архитектура — vision-encoder-decoder, реализована с Transformers и сохранена в форматах PyTorch и safetensors.

Модель предназначена для HTR/OCR отдельных обрезанных строк из грамот и книг. Объединённые обучающие данные охватывают разные средневековые латинские почерки из проектов CREMMA, HIMANIS, Itinera Nova и Charters and Records of Königsfelden. В README приведён показатель CER 0,0329 на оценке строк. Для обработки целой страницы сначала требуется сегментация на строки.

Модель не проходила обширное тестирование, а возможные смещения ещё предстоит определить. Лицензия модели — MIT; лицензии исходных наборов данных включают CC-BY 4.0, поэтому при использовании данных следует учитывать их условия.

Сценарии применения

  • транскрибация строк из средневековых грамот
  • распознавание рукописного текста в средневековых книгах
  • оцифровка архивных документов на латинском языке
  • пакетная обработка сегментированных строк рукописей

Ограничения

Принимает изображения отдельных текстовых строк, а не целые страницы; страницы нужно предварительно сегментировать. Модель не тестировалась широко, возможные смещения не определены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

# TrOCR Medieval Model with linemasks generated in eScriptorium (https://de.wikipedia.org/wiki/EScriptorium) Handwritten Text Recognition model for Medieval Scripts.

Part of the developments at the Digital Humanities@University of Bern. Developed by Jonas Widmer and Tobias Hodel based on different ground truth (see below).

Base model: microsoft/trocr-base-handwritten

Epochs: 19.05 / 20
Eval CER: 0.0329

This is a combined model of ground truth of different charter and book scripts from a variety of projects and institutions, aiming at building a generic model for Latin scripts of the Middle Ages. It is mainly based on documents from the project CREMMA Manuscrits médiévaux latins, HIMANIS (CNRS), Itinera Nova (Stadsarchief Leuven), and Charters and Records of Königsfelden (Universität Zürich).

Based on the following data: CREMMA Manuscrits médiévaux latins has been produced by Clérice, Thibault and Chagué, Alix and Vlachou Efstathiou, Malamatenia. It is licensed under a CC-BY 4.0 license. URL: https://github.com/HTR-United/CREMMA-Medieval-LAT

HIMANIS is partially published as HIMANIS Guérin produced by Stutzmann, Dominique; Hamel, Sébastien; Kernier, Iseut de; Mühlberger, Günter; Hackl, Günter. Licensed under a CC-BY 4.0 license. DOI: 10.5281/zenodo.5535306

Charters and Records of Königsfelden Abbey and Bailiwick (1308-1662) has been produced by Halter-Pernet, Colette; Teuscher, Simon; Hodel, Tobias; Barwitzki, Lukas; Egloff, Salome; Henggeler, Fabian; Nadig, Michael; Steinmann, Anina; Stettler, Sabine; Prada Ziegler, Ismail. Licensed under a CC-BY 4.0 license. DOI: 10.5281/zenodo.5179361

The model is based on the same data as the following PyLaia model (available on Transkribus): https://readcoop.eu/model/charter-scripts-german-latin-french/

The model has not been extensively tested. Potential biases are still to be identified.

Input: one line, not a page

This is a VisionEncoderDecoderModel for line images: it reads one cropped text line per call, which is also what the CER above was measured on. A whole page is not an input it has — pass one and it returns a fragment of it.

Segment the page first (kraken, eScriptorium, Transkribus, or any line segmenter) and pass the crops one at a time. In the DH Bern serving stack the model is registered level: line and the gateway segments with kraken before calling it; the reasoning and the measurements behind that rule are in thodel/serving-atr-inference#165.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
VisionEncoderDecoderModel
Ревизия весов
3a65a4d

0 моделей