Набор PyTorch-чекпойнтов автоэнкодеров RAE для кодирования изображений в латентное пространство с целью последующей диффузионной генерации.
0скачиваний за 30 дней49лайковвеса обновлены1 мар 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
RAE-collections — официальный набор чекпойнтов PyTorch для Representation Autoencoders (RAE), разработанный командой NYU VisionX. Автоэнкодеры используют предварительно обученные замороженные энкодеры представлений, включая DINOv2 и SigLIP2, и обучаемые декодеры ViT.
Модель предназначена для двухэтапного конвейера генерации изображений высокого качества: автоэнкодер кодирует изображения в латентное пространство, после чего отдельная диффузионная модель обучается генерировать данные в этом пространстве. Репозиторий заявляет задачу безусловной генерации изображений; сам RAE служит компонентом этого процесса, а не описан как готовая диффузионная модель для генерации по текстовому запросу. Лицензия — MIT.
Сценарии применения
подготовка латентного пространства для обучения диффузионной модели изображений
кодирование изображений с помощью энкодеров DINOv2 или SigLIP2
построение двухэтапного конвейера синтеза изображений высокого качества
Ограничения
RAE описан как компонент двухэтапного конвейера и не представлен как самостоятельная модель генерации изображений по тексту. Для итоговой генерации требуется отдельная диффузионная модель, обученная на его латентном пространстве.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
RAE: Diffusion Transformers with Representation Autoencoders
This repository contains the official PyTorch checkpoints for Representation Autoencoders.
Representation Autoencoders (RAE) are a class of autoencoders that utilize pretrained, frozen representation encoders such as DINOv2 and SigLIP2 as encoders with trained ViT decoders. RAE can be used in a two-stage training pipeline for high-fidelity image synthesis, where a Stage 2 diffusion model is trained on the latent space of a pretrained RAE to generate images.