Postprocess markdown generated from a pdf to clean up newlines, spaces, etc.
Used in marker.
pdf_postprocessor_t5
Модель T5 для очистки форматирования Markdown, извлечённого из PDF.
40скачиваний за 30 дней16лайковвеса обновлены22 дек 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
vikp/pdf_postprocessor_t5 — модель на базе T5 с архитектурой WeightedT5EncoderForTokenClassification и 364,6 млн параметров. Она предназначена для постобработки Markdown, полученного из PDF: исправляет переносы строк, пробелы и другие артефакты форматирования. Модель используется в Marker для очистки результата извлечения текста из PDF.
Репозиторий содержит веса PyTorch и помечен задачей классификации токенов. В карточке не указаны отдельные сведения о поддерживаемых языках или лицензии, поэтому их нельзя уточнить по доступным данным.
Сценарии применения
- исправление переносов строк в Markdown из PDF
- удаление лишних пробелов в извлечённом тексте
- постобработка результата конвертации PDF в Markdown
- очистка текста из PDF в конвейере Marker
Ограничения
Описание ограничивает назначение модели очисткой Markdown после извлечения из PDF; данных о качестве, поддерживаемых языках и лицензии в предоставленных источниках нет.
Для каких профессий подходит6
Разделы каталога профессий, в задачах которых используется эта модель
I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельI.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Подбираем GPU…
- Класс архитектуры
- WeightedT5EncoderForTokenClassification
- Ревизия весов
- 64e88b0