Характеристики

Базовая модель: trocr-base-stage1
Опубликована: 26 апр 2024

Ссылки

Hugging Face

IS557_TrOCR_AllData

ShuyiGuo

Изображение и текст → текст

Дообученная TrOCR-модель преобразует изображения с текстом в распознанный текст.

0скачиваний за 30 дней0лайковвеса обновлены26 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

IS557_TrOCR_AllData — дообученная модель распознавания текста на изображениях, созданная на основе microsoft/trocr-base-stage1. Она использует архитектуру TrOCR типа vision encoder-decoder и предназначена для преобразования изображения с текстом в текстовую последовательность. В README приведены результаты на наборе оценки: CER 0,1764 и loss 1,0124.

Модель подходит для распознавания текста на изображениях в сценариях, соответствующих данным её дообучения. Сведения о наборе данных, поддерживаемых языках и специальных ограничениях в карточке отсутствуют. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Сценарии применения

распознавание текста на изображениях
извлечение печатного текста из сканов
распознавание текста на фотографиях документов

Ограничения

Набор данных дообучения и поддерживаемые языки не описаны; метрика CER 0,1764 приведена только для указанного оценочного набора.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IS557_TrOCR_AllData

This model is a fine-tuned version of microsoft/trocr-base-stage1 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 1.0124
Cer: 0.1764

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3.0
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Cer
4.4421	0.0708	200	4.1713	0.6172
3.2966	0.1415	400	3.1228	0.5064
2.5955	0.2123	600	2.7626	0.3949
2.201	0.2831	800	2.4729	0.4258
1.5876	0.3539	1000	2.2295	0.3097
2.7774	0.4246	1200	2.1112	0.3092
2.7995	0.4954	1400	2.1286	0.3070
1.5241	0.5662	1600	1.8915	0.2534
0.9877	0.6369	1800	1.8091	0.2624
1.21	0.7077	2000	1.7322	0.2552
1.5582	0.7785	2200	1.6645	0.2445
1.1392	0.8493	2400	1.6458	0.2294
1.8181	0.9200	2600	1.5874	0.2313
1.2517	0.9908	2800	1.5736	0.2361
1.2004	1.0616	3000	1.5693	0.2344
1.4357	1.1323	3200	1.5447	0.2190
1.1354	1.2031	3400	1.4577	0.3232
0.853	1.2739	3600	1.4034	0.2166
1.4631	1.3447	3800	1.4105	0.2093
2.3234	1.4154	4000	1.3813	0.2044
0.6976	1.4862	4200	1.3505	0.2088
1.4337	1.5570	4400	1.3338	0.2079
1.0502	1.6277	4600	1.3044	0.1900
1.2216	1.6985	4800	1.2883	0.2176
1.0111	1.7693	5000	1.2530	0.1977
0.9992	1.8401	5200	1.2245	0.2064
0.9941	1.9108	5400	1.2187	0.1933
1.4861	1.9816	5600	1.1961	0.1827
1.1703	2.0524	5800	1.1776	0.1927
0.8935	2.1231	6000	1.1617	0.1891
2.5386	2.1939	6200	1.1686	0.1823
0.4705	2.2647	6400	1.1259	0.1843
1.2777	2.3355	6600	1.1228	0.1882
0.6823	2.4062	6800	1.1035	0.1787
1.2498	2.4770	7000	1.0976	0.1814
0.4579	2.5478	7200	1.0839	0.1721
0.9005	2.6185	7400	1.0695	0.1817
0.8045	2.6893	7600	1.0513	0.1745
1.3044	2.7601	7800	1.0336	0.1814
1.0797	2.8309	8000	1.0275	0.1846
0.3826	2.9016	8200	1.0178	0.1817
0.6175	2.9724	8400	1.0124	0.1764

Framework versions

Transformers 4.40.0
Pytorch 2.3.0+cu121
Datasets 2.19.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: a6d9728