pix2struct-tiny-random

По карточке модели она относится к задачам Image-to-Text и поддерживается библиотекой Transformers. Архитектура Pix2Struct разработана исследователями Google как мультимодальная модель с визуальным энкодером и текстовым декодером для преобразования содержимого изображений в текст; семейство предназначено для анализа визуально представленной информации, включая подписи к изображениям и ответы на вопросы по изображениям.

Название tiny-random указывает на уменьшенный вариант со случайно инициализированными весами, поэтому модель, вероятно, предназначена прежде всего для тестирования совместимости, загрузки и преобразований, а не для прикладного инференса с качественными результатами. В доступной карточке не указаны точный размер, число параметров, длина контекста, языки, обучающие данные, результаты оценки или специальные ограничения качества; README пуст. Для использования доступны AutoProcessor и AutoModelForImageTextToText в Transformers. Репозиторий распространяется по лицензии MIT.