Характеристики

Лицензия: CC BY-NC 4.0
Архитектура: ov_deim · dense
Библиотека: libreyolo
Опубликована: 14 июл 2026

Ссылки

LibreOVDEIMs

Поиск объектовИзображение → bounding_boxes3 профессии

LibreOVDEIMs — детектор объектов с открытым словарём, который находит объекты на изображениях по пользовательским текстовым запросам.

33скачиваний за 30 дней0лайковвеса обновлены14 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LibreOVDEIMs — модель обнаружения объектов с открытым словарём из проекта LibreYOLO. В репозитории объединены детектор OV-DEIM-S и текстовый энкодер MobileCLIP-B(LT), который кодирует пользовательские текстовые запросы во время работы. Детектор использует backbone ViT-tiny, дистиллированный из DEIMv2, и содержит 11 млн параметров; веса детектора преобразованы из wleilei/OV-DEIM, а текстовый энкодер взят из apple/MobileCLIP-B-LT-OpenCLIP.

Модель предназначена для обнаружения объектов на изображениях по заданным пользователем названиям классов или текстовым описаниям, в том числе для zero-shot сценариев. В README приведены примеры поиска людей, красного рюкзака и погрузчика, а также сообщается о воспроизведении результата 45,9 AP на COCO val2017 для варианта L из исходной работы. Заявленная авторами скорость 161 FPS относится к upstream-модели на T4 с TensorRT при размере входа 640.

Для использования нужны библиотека LibreYOLO и изображения; интерфейс позволяет задавать текстовые классы и получать результаты детекции. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Показатели скорости и качества в README относятся к исходной работе или указанной конфигурации и не гарантируют те же результаты для других устройств и условий.

Сценарии применения

поиск объектов на изображении по названию класса
обнаружение объектов по текстовому описанию без отдельного обучения на этих классах
детекция людей на изображениях
поиск заданных предметов, например рюкзаков или погрузчиков
интеграция детекции объектов в приложения на LibreYOLO

Ограничения

Лицензия CC BY-NC 4.0 ограничивает коммерческое использование. Скорость 161 FPS указана для upstream-конфигурации на T4 с TensorRT, а результат 45,9 AP относится к варианту L и не должен автоматически переноситься на другие конфигурации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LibreOVDEIMs

OV-DEIM-S real-time open-vocabulary detector (11M params, ViT-tiny (DEIMv2 distilled) backbone) repackaged for LibreYOLO's LibreOpenVocab tier, bundled with the MobileCLIP-B(LT) text tower for online prompt encoding.

Source

Detector converted from wleilei/OV-DEIM at commit dfbf394672407b7f837ec08e7d68e8127548b254 (checkpoint ovdeim_s.pth, trained on Objects365v1 + GoldG). Text encoder taken from apple/MobileCLIP-B-LT-OpenCLIP.

Paper: OV-DEIM: Real-time DETR-Style Open-Vocabulary Object Detection with GridSynthetic Augmentation (arXiv 2603.07022). Upstream reports 161 FPS on a T4 with TensorRT at 640 input.

Modifications

State-dict key remapping and merge only (module. prefix stripped, the training-only denoising embedding dropped, the MobileCLIP text tower stored under text_encoder.*). Learned parameters are unchanged. See weights/convert_ovdeim_weights.py in the LibreYOLO source repository.

LibreYOLO's port reproduces the upstream paper's zero-shot COCO val2017 result through this artifact (45.9 AP for the L size).

Usage

from libreyolo import LibreOpenVocab

model = LibreOpenVocab("ov-deim-s")
model.set_classes(["person", "a red backpack", "forklift"])
results = model.predict("image.jpg")

License

Layered, most restrictive governs the combined artifact:

Detector weights: CC BY-NC 4.0 (non-commercial, attribution; redistribution and format conversion permitted by upstream's MODEL_LICENSE).
OV-DEIM code lineage: Apache-2.0.
MobileCLIP-B(LT) text tower: Apple Machine Learning Research Model license, research use only.
DINOv3-derived backbone: DINOv3 License.

See NOTICE for attribution details.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · libreyolo · object-detection

Нельзя запустить

Архитектура ov_deim неизвестна transformers в образе рантайма.

Ревизия весов: 6d34cfa