Характеристики

Лицензия: Apache 2.0
Библиотека: libreyolo
Опубликована: 9 авг 2026

Ссылки

LibrePEl14-cls

Классификация изображений без дообученияИзображение, текст → label

LibrePEl14-cls — двухбашенный vision-language энкодер для zero-shot классификации изображений по текстовым промптам и получения эмбеддингов изображений, текста и видео.

0скачиваний за 30 дней0лайковвеса обновлены9 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LibrePEl14-cls — упакованный для LibreYOLO чекпойнт Perception Encoder PE-Core-L/14-336, разработанный на основе модели timm/PE-Core-L-14-336. Это двухбашенный vision-language энкодер, который кодирует изображения и текст в общее нормализованное пространство эмбеддингов и поддерживает классификацию изображений без дополнительного обучения по текстовым промптам. Также модель умеет получать эмбеддинги видео; входное разрешение изображений — 336×336.

Веса преобразованы в совместимый с OpenCLIP формат: добавлены метаданные чекпойнта LibreYOLO, а тензоры перемещены на CPU; обученные параметры не изменены. README сообщает о точном совпадении результатов с исходной реализацией open_clip_torch 3.2.0 для эмбеддингов изображений и текста, zero-shot логитов и эмбеддингов видео с фиксированными кадрами. Репозиторий использует формат PyTorch и лицензию Apache-2.0. Для получения результатов нужны текстовые промпты для классификации; качество зависит от формулировки промптов и соответствия изображений обучающим данным.

Сценарии применения

классификация изображений по пользовательским текстовым категориям
поиск изображений по текстовому описанию через сходство эмбеддингов
извлечение эмбеддингов изображений для поиска и кластеризации
сопоставление текстовых запросов с изображениями
извлечение эмбеддингов видео по фиксированным кадрам

Ограничения

Классификация требует подходящих текстовых промптов, а входное разрешение изображений ограничено 336×336. README сообщает о поддержке видео через фиксированные кадры, но не описывает длительность роликов или способ их декодирования.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LibrePEl14-cls

Perception Encoder (PE) Core PE-Core-L/14-336 packaged for LibreYOLO.

PE Core is a dual-tower vision-language encoder: it maps images, text, and whole videos into one normalized embedding space, and classifies zero-shot from text prompts.

from libreyolo import LibreYOLO

# zero-shot classification
model = LibreYOLO("LibrePEl14-cls.pt")
model.set_classes(["a forklift", "an empty aisle", "a spill"])
r = model.predict("warehouse.jpg")[0]
print(model.names[r.probs.top1], float(r.probs.top1conf))

# embeddings: image, text, and whole video in one space
embedder = LibreYOLO("LibrePEl14-cls.pt", task="embed")
embedder.predict("photo.jpg")      # (1, 1024) image row
embedder.embed_text(["a dog"])     # (1, 1024) text row
embedder.predict("clip.mp4")       # (1, 1024) row for the whole clip

The bare canonical filename is the download trigger - there is no from_pretrained.

Specification


Family / size	`pe` / `l14`
Tasks	`classify` (zero-shot), `embed`
Input resolution	336x336
Embedding dimension	1024
Text context length	32
Preprocessing	RGB, bilinear square resize, mean/std = (0.5, 0.5, 0.5)
Video pooling	mean of independently encoded frames, L2-normalized once
Training	not supported (inference-only; `train()` raises)
Exports	ONNX, TorchScript

Source

Upstream repository: timm/PE-Core-L-14-336
Upstream revision: 8eff41b3f687e50a323662c2dda5eb3588c6dd35
Upstream license: Apache-2.0

This is a converted OpenCLIP-compatible PE Core checkpoint, not an unmodified official facebook/PE-Core-* package checkpoint.

Modifications

State-dict metadata wrap only (weights/convert_pe_weights.py): LibreYOLO checkpoint metadata is added and tensors are moved to CPU. Learned parameters are unchanged.

Parity against unmodified open_clip_torch==3.2.0 on float32 CPU is exact (max_abs_diff == 0.0) for image embeddings, text embeddings, zero-shot logits, and fixed-frame video embeddings.

License

Apache-2.0, inherited from the upstream weights. See LICENSE and NOTICE in this repository. You are responsible for complying with those terms.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · libreyolo · zero-shot-image-classification

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 69c1cef