Компактная Transformer-модель для обнаружения объектов на изображениях по текстовым описаниям категорий без отдельного обучения на каждом классе.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
OmDet-Turbo_tiny_SWIN_T — модель обнаружения объектов с открытым словарём, представленная авторами работы «Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head»: Tiancheng Zhao, Peng Liu, Xuan He, Lu Zhang и Kyusong Lee. Она предназначена для обнаружения объектов по текстовым описаниям классов без обучения на каждом новом наборе категорий.
Модель использует архитектуру на основе Transformer; обозначение репозитория указывает на вариант tiny с backbone SWIN_T. Она принимает изображение и текстовые описания категорий, а выдаёт найденные объекты с рамками и оценками. Лицензия — Apache-2.0. README отсылает за инструкциями по использованию к исходному репозиторию.
README не содержит подробных оценок качества или системных требований. Для инструкций по запуску он отсылает к исходному репозиторию.
README от автора на Hugging Face, как он его опубликовал
The OmDet model was proposed in Real-time Transformer-based Open-Vocabulary Detection with Efficient Fusion Head by Tiancheng Zhao, Peng Liu, Xuan He, Lu Zhang, Kyusong Lee.
This model is intended for zero-shot (also called open-vocabulary) object detection.
Refer to the original repository.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
В репозитории нет config.json: не понять архитектуру модели.