/ Модель

Характеристики

Лицензия
MIT
Опубликована
18 окт 2024

BiGR

Эмбеддинги изображенийИзображение → embedding

BiGR — исследовательская модель извлечения визуальных признаков, использующая бинарные латентные коды для улучшения представлений изображений.

0скачиваний за 30 дней6лайковвеса обновлены28 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BiGR — модель из официального выпуска к статье «BiGR: Harnessing Binary Latent Codes for Image Generation and Improved Visual Representation Capabilities». Она предназначена для извлечения визуальных признаков и улучшения представлений изображений, а также входит в семейство моделей для генерации изображений. В README приведены варианты BiGR-L, BiGR-XL и BiGR-XXL для разрешения 256×256 размером от 1,35 до 5,92 млрд параметров, а также BiGR-L для 512×512 размером 1,49 млрд параметров. Для кодирования используются бинарные автоэнкодеры B-AE; в метаданных для данного репозитория указаны PyTorch, задача image-feature-extraction и датасет ImageNet-1k.

Модель принимает изображения и выдаёт визуальные признаки. README описывает исследовательский выпуск и предоставляет веса для запуска кода статьи; лицензия репозитория — MIT. Доступные сведения относятся к семейству BiGR, поэтому конкретная конфигурация, представленная в этом репозитории, неясна.

Сценарии применения

  • извлечение признаков из изображений
  • получение визуальных представлений изображений для последующих задач
  • эксперименты с бинарными латентными кодами для визуального представления
  • исследования генерации изображений на разрешении 256×256 или 512×512

Ограничения

README приводит несколько конфигураций семейства, но не уточняет, какая именно представлена в этом репозитории. Описание не сообщает метрик качества или результатов сравнения.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is the official model release for the paper:

BiGR: Harnessing Binary Latent Codes for Image Generation and Improved Visual Representation Capabilities

Please download the pretrained weights for tokenizers and BiGR models to run our code.

Binary Autoencoder

We train Binary Autoencoder (B-AE) by adapting the official code of Binary Latent Diffusion. We provide pretrained weights for different configurations.

256x256 resolution

B-AESizeCheckpoint
d24332Mdownload
d32332Mdownload

512x512 resolution

B-AESizeCheckpoint
d32-512315Mdownload

BiGR models ✨

We provide pretrained weights for BiGR models in various sizes.

256x256 resolution

ModelB-AESizeCheckpoint
BiGR-L-d24d241.35Gdownload
BiGR-XL-d24d243.20Gdownload
BiGR-XXL-d24d245.92Gdownload
BiGR-XXL-d32d325.92Gdownload

512x512 resolution

ModelB-AESizeCheckpoint
BiGR-L-d32-res512d32-res5121.49Gdownload

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
ba46eed

0 моделей