donut-base

nielsr/donut-base — базовая предварительно обученная модель семейства Donut, опубликованная пользователем nielsr на Hugging Face и основанная на подходе Donut, разработанном NAVER CLOVA. Это мультимодальная модель для понимания документов, которая обрабатывает изображение документа и генерирует текстовое представление результата без отдельного OCR-конвейера.

Модель построена по архитектуре VisionEncoderDecoderModel: визуальный энкодер Donut Swin преобразует изображение, а декодер на базе mBART генерирует текст. В конфигурации указаны 12 слоёв энкодера, 4 слоя декодера и максимальная длина последовательности декодера 1536 токенов. В Hugging Face она классифицируется для задачи image-text-to-text и предназначена прежде всего как базовая модель для последующего дообучения под извлечение структурированных данных, классификацию и другие задачи понимания документов.

Сильная сторона модели — единый end-to-end подход к анализу документов по изображениям. Это именно базовый чекпойнт, поэтому без дообучения он не гарантирует высокое качество на конкретной прикладной задаче; специализированные сценарии требуют подходящего датасета и настройки.