Характеристики

Лицензия: Apache 2.0
Базовая модель: PE-Core-B16-224
Библиотека: coreml
Опубликована: 10 окт 2026

Ссылки

spotword-object-namer

Классификация изображений без дообученияИзображение, текст → label

Core ML-энкодер для iOS, который помогает называть сфотографированные повседневные объекты, сопоставляя изображение с английскими названиями.

12скачиваний за 30 дней0лайковвеса обновлены10 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ripehand/spotword-object-namer — визуальный энкодер для приложения Spotword на iOS, основанный на PE-Core B16-224 от Meta. Модель принимает RGB-изображение размером 224×224 и выдаёт вектор признаков из 1024 чисел. Веса преобразованы из PyTorch в формат Core ML fp16; нормализация изображения встроена, а финальная L2-нормализация удалена.

Вместе с моделью опубликованы текстовые эмбеддинги 3 496 повседневных английских существительных из WordNet и более широких слов. Приложение может сопоставить признаки сфотографированного объекта с этими названиями и предложить подходящую метку на устройстве. Это классификация изображений по заранее подготовленному набору названий, а не открытая генерация описаний. Для использования в приложении требуется самостоятельно нормализовать выходной вектор: вычисление нормы внутри модели может переполниться в fp16. Репозиторий распространяется по лицензии Apache 2.0; список WordNet и частотные данные имеют отдельные лицензии.

Сценарии применения

определение повседневных предметов на фотографиях
подбор английской метки для сфотографированного объекта
классификация изображения по списку существительных
оффлайн-распознавание объектов в приложении iOS

Ограничения

Предназначена для сопоставления с фиксированным набором из 3 496 английских существительных и не генерирует произвольные подписи. Выходной эмбеддинг нужно нормализовать самостоятельно; вычисление L2-нормы внутри fp16-модели может переполниться.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Object namer (PE-Core B16, Core ML)

The image encoder of Meta's Perception Encoder PE-Core B16-224, converted to Core ML (fp16, iOS 18+) for the Spotword iOS app, which downloads it on request to name photographed objects on the device.

ObjectNamer.mlpackage: input image (RGB 224×224), output embedding (1024 floats, not unit length: scale it to unit length yourself; the L2 norm overflows in fp16 inside the model).
object-names.json / object-names.bin: text embeddings (float16, one row per name, then per wider word) of 3,496 everyday English nouns from WordNet, made with the model's text encoder and the prompts "a photo of a {}.", "a close-up photo of a {}.", "a photo of the {}.", "a {} on a table.", plus each name's word frequency (wordfreq Zipf) and wider words.

Changes from the original: weights converted from PyTorch to Core ML fp16; image normalisation built in; final L2 normalisation removed. Original model: https://github.com/facebookresearch/perception_models (Apache License 2.0, Copyright Meta Platforms, Inc. and affiliates).

Word frequencies: wordfreq by Robyn Speer, CC BY-SA 4.0 (https://github.com/rspeer/wordfreq). Noun list: Princeton WordNet 3.0 (WordNet license).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · coreml

Нельзя запустить

CoreML-модели работают только на устройствах Apple.

Ревизия весов: 6e720e2