Характеристики

Архитектура: vision-encoder-decoder · dense
Базовая модель: trocr-small-handwritten
Библиотека: transformers
Опубликована: 9 дек 2024

Ссылки

Hugging Face

trocr-small-fr

personalizedrefrigerator

Изображение и текст → текст4 профессии

Дообученная TrOCR Small распознаёт французский текст на изображениях, в том числе рукописные строки.

2 618скачиваний за 30 дней0лайковвеса обновлены9 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель personalizedrefrigerator/trocr-small-fr — дообученная на пользовательском наборе данных компактная TrOCR для распознавания французского текста на изображениях. Она использует архитектуру vision-encoder-decoder и предназначена для преобразования изображения с текстом в текст, в частности для распознавания рукописных строк, как её базовая модель microsoft/trocr-small-handwritten.

В README приведены результаты оценки: CER 0,0138 и WER 0,0455. Состав и условия получения обучающего набора не описаны, поэтому результаты нельзя уверенно переносить на другие типы текста и изображений. Модель распространяется в формате safetensors и использует библиотеку Transformers. Сведения о лицензии отсутствуют в предоставленных источниках.

Сценарии применения

распознавание французского рукописного текста на изображениях
оцифровка рукописных заметок на французском языке
извлечение текста из изображений французских документов

Ограничения

Обучающий набор описан только как пользовательский, поэтому качество на других наборах данных и типах изображений не установлено. Лицензия не указана в предоставленных источниках.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TrOCR Small (Finetuned on French)

This model is a fine-tuned version of microsoft/trocr-small-handwritten on a custom dataset. It achieves the following results on the evaluation set:

Loss: 0.1007
Model Preparation Time: 0.0057
Cer: 0.0138
Wer: 0.0455
Ratio: 98.3979

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

See https://github.com/personalizedrefrigerator/trocr_finetuning/tree/main/trocr

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
training_steps: 12000
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Model Preparation Time	Cer	Wer	Ratio
0.1386	0.0333	400	0.1543	0.0057	0.0190	0.0819	98.6922
0.1298	0.0667	800	0.1300	0.0057	0.0130	0.0526	98.9649
0.1171	0.1	1200	0.1622	0.0057	0.0200	0.0760	98.3437
0.1035	0.1333	1600	0.1538	0.0057	0.0190	0.0760	98.6841
0.1186	0.1667	2000	0.1605	0.0057	0.0170	0.0760	98.9547
0.1285	0.2	2400	0.1675	0.0057	0.0190	0.0643	98.5663
0.1043	0.2333	2800	0.1511	0.0057	0.0220	0.0702	98.4283
0.1294	0.2667	3200	0.1647	0.0057	0.0150	0.0526	98.9361
0.0954	0.3	3600	0.1532	0.0057	0.0160	0.0526	98.7555
0.111	0.3333	4000	0.1577	0.0057	0.0210	0.0643	98.1890
0.114	0.3667	4400	0.1378	0.0057	0.0160	0.0585	98.6565
0.1183	0.4	4800	0.1163	0.0057	0.0070	0.0351	99.3075
0.1277	0.4333	5200	0.1571	0.0057	0.0160	0.0760	98.8328
0.1219	0.4667	5600	0.1571	0.0057	0.0150	0.0526	98.7910
0.1101	0.5	6000	0.1245	0.0057	0.0130	0.0526	99.0524
0.1069	0.5333	6400	0.1470	0.0057	0.0130	0.0585	99.0389
0.1126	0.5667	6800	0.1302	0.0057	0.0140	0.0526	98.9437
0.0837	1.0137	7200	0.1323	0.0057	0.0200	0.0702	98.4624
0.0809	1.047	7600	0.1180	0.0057	0.0100	0.0409	99.4630
0.0889	1.0803	8000	0.1241	0.0057	0.0180	0.0702	98.7486
0.0711	1.1137	8400	0.1174	0.0057	0.0150	0.0585	98.8769
0.0736	1.147	8800	0.1166	0.0057	0.0120	0.0468	99.0708
0.0786	1.1803	9200	0.1080	0.0057	0.0080	0.0351	99.5225
0.0686	1.2137	9600	0.1037	0.0057	0.0070	0.0292	99.5887
0.0738	1.2470	10000	0.1127	0.0057	0.0140	0.0468	99.0132
0.07	1.2803	10400	0.1051	0.0057	0.0120	0.0409	99.0954
0.0697	1.3137	10800	0.1003	0.0057	0.0090	0.0292	99.2171
0.0686	1.347	11200	0.1038	0.0057	0.0120	0.0351	98.9317
0.0763	1.3803	11600	0.1028	0.0057	0.0120	0.0351	98.9317
0.0717	1.4137	12000	0.1018	0.0057	0.0120	0.0351	98.9317

Framework versions

Transformers 4.46.3
Pytorch 2.5.1+cu121
Datasets 3.1.0
Tokenizers 0.20.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: VisionEncoderDecoderModel
Ревизия весов: a758a64

Характеристики

Ссылки

trocr-small-fr

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит4

Карточка модели

TrOCR Small (Finetuned on French)

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить