Характеристики

Лицензия: Apache 2.0
Библиотека: libreyolo
Опубликована: 9 авг 2026

Ссылки

LibrePEg14-cls

Классификация изображений без дообученияИзображение, текст → label

Преобразованный двухбашенный энкодер Perception Encoder для классификации изображений по текстовым запросам и получения эмбеддингов изображений, текста и видео.

0скачиваний за 30 дней0лайковвеса обновлены9 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LibrePEg14-cls — преобразованный чекпойнт Perception Encoder PE-Core-G/14-448, упакованный для LibreYOLO. Это двухбашенный визуально-языковой энкодер: он кодирует изображения и текст в общее нормализованное пространство эмбеддингов и поддерживает классификацию изображений по текстовым запросам без дополнительного обучения. Для обработки изображений используется разрешение 448×448; модель также умеет получать эмбеддинги видео по фиксированным кадрам.

Модель основана на timm/PE-Core-bigG-14-448. Изменены только метаданные state dict и размещение тензоров на CPU; обученные параметры сохранены без изменений. Совпадение с исходной реализацией OpenCLIP проверено для эмбеддингов изображений и текста, zero-shot логитов и эмбеддингов видео на float32 CPU. Лицензия — Apache-2.0.

Визуальная башня содержит 1,88 млрд параметров; для одних только весов в float32 требуется около 8 ГБ RAM или VRAM, не считая активаций. Поэтому для ограниченной памяти лучше выбрать меньший вариант, если большая модель не нужна специально.

Сценарии применения

классификация изображений по описаниям классов без дообучения
поиск изображений по текстовому запросу через эмбеддинги
извлечение эмбеддингов изображений для поиска и группировки
сопоставление текстов и изображений в общем пространстве признаков
получение эмбеддингов видео по выбранным кадрам

Ограничения

Визуальная башня содержит 1,88 млрд параметров и требует около 8 ГБ RAM или VRAM только для хранения весов в float32; активации требуют дополнительной памяти. В README отмечена эквивалентность исходной реализации для float32 CPU, но результаты для других режимов не описаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LibrePEg14-cls

Perception Encoder (PE) Core PE-Core-G/14-448 packaged for LibreYOLO.

PE Core is a dual-tower vision-language encoder: it maps images, text, and whole videos into one normalized embedding space, and classifies zero-shot from text prompts.

from libreyolo import LibreYOLO

# zero-shot classification
model = LibreYOLO("LibrePEg14-cls.pt")
model.set_classes(["a forklift", "an empty aisle", "a spill"])
r = model.predict("warehouse.jpg")[0]
print(model.names[r.probs.top1], float(r.probs.top1conf))

# embeddings: image, text, and whole video in one space
embedder = LibreYOLO("LibrePEg14-cls.pt", task="embed")
embedder.predict("photo.jpg")      # (1, 1280) image row
embedder.embed_text(["a dog"])     # (1, 1280) text row
embedder.predict("clip.mp4")       # (1, 1280) row for the whole clip

The bare canonical filename is the download trigger - there is no from_pretrained.

Memory note. g14 has a 1.88B-parameter vision tower. Expect roughly 8 GB of RAM/VRAM in float32 just to hold the weights, plus activations. Prefer l14 or smaller unless you specifically need the gigantic variant.

Specification


Family / size	`pe` / `g14`
Tasks	`classify` (zero-shot), `embed`
Input resolution	448x448
Embedding dimension	1280
Text context length	72
Preprocessing	RGB, bilinear square resize, mean/std = (0.5, 0.5, 0.5)
Video pooling	mean of independently encoded frames, L2-normalized once
Training	not supported (inference-only; `train()` raises)
Exports	ONNX, TorchScript

Source

Upstream repository: timm/PE-Core-bigG-14-448
Upstream revision: 17aa0c25addfa14198fa2ff73d845a22d433432e
Upstream license: Apache-2.0

This is a converted OpenCLIP-compatible PE Core checkpoint, not an unmodified official facebook/PE-Core-* package checkpoint.

Modifications

State-dict metadata wrap only (weights/convert_pe_weights.py): LibreYOLO checkpoint metadata is added and tensors are moved to CPU. Learned parameters are unchanged.

Parity against unmodified open_clip_torch==3.2.0 on float32 CPU is exact (max_abs_diff == 0.0) for image embeddings, text embeddings, zero-shot logits, and fixed-frame video embeddings.

License

Apache-2.0, inherited from the upstream weights. See LICENSE and NOTICE in this repository. You are responsible for complying with those terms.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · libreyolo · zero-shot-image-classification

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: fa68979