rgb-to-x
Диффузионная модель для получения карт материалов и освещения, таких как albedo и normal, из RGB-изображения.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
zheng95z/rgb-to-x — модель на основе диффузии, опубликованная пользователем zheng95z на Hugging Face и совместимая с StableDiffusionAOVMatEstPipeline. Она предназначена для преобразования входного RGB-изображения в карты свойств поверхности и освещения (AOV), например albedo, normal, roughness, metallic и irradiance. Пример использования из карточки Hugging Face показывает генерацию изображения по текстовому запросу, а связанные примеры применения передают модели фотографию и запрашивают определённую AOV-карту.
Модель распространяется в формате Diffusers с весами Safetensors. В доступных источниках не приведены надёжные сведения о точном размере архитектуры, обучающих данных или поддерживаемых языках. Лицензия в просмотренных сведениях не установлена.
Сценарии применения
- получение карты albedo из фотографии
- оценка карты нормалей поверхности
- генерация карты roughness для материала
- получение карты metallic
- оценка карты irradiance из изображения
Ограничения
Для работы с отдельными AOV требуется передать исходное изображение и выбрать нужную карту; качество и ограничения по разрешению в доступных источниках не описаны.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Пайплайн StableDiffusionAOVMatEstPipeline не входит в diffusers 0.41.0.dev0: нужен custom_pipeline.
- Ревизия весов
- b38b3fd