/ Модель
Каталог

Характеристики

Лицензия
Своя лицензия
Библиотека
onnx
Опубликована
26 сен 2026

Ссылки

Hugging Face

sharp-onnx-webgpu

sm079
Языковая модель

ONNX-экспорт SHARP создаёт представление сцены в виде 3D Gaussian splats по одной фотографии для синтеза видов и движения виртуальной камеры.

0скачиваний за 30 дней0лайковвеса обновлены26 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SHARP в формате ONNX — производная версия модели Apple Machine Learning Research для монокулярного синтеза видов по одному изображению. Экспорт подготовлен для запуска в браузере через ONNX Runtime Web и WebGPU и используется SharpRig для создания видео с движением виртуальной камеры по одной фотографии.

Модель принимает RGB-изображение размером 1536 × 1536 и коэффициент disparity, связанный с фокусным расстоянием. Она выдаёт параметры набора 3D Gaussian splats: положения, сингулярные значения, ориентации, цвета и прозрачность в пространстве NDC. Сеть экспортирована из чекпойнта в ONNX с вычислениями fp16; веса упакованы с int8-квантованием и восстанавливаются до fp16 при загрузке. Переобучение не проводилось. В README приведена оценка относительной ошибки глубины на тестовой фотографии: 0,19% по медиане и 1,1% на 95-м перцентиле.

Модель предназначена для монокулярного синтеза видов и создания эффекта движения камеры по фотографии. Она не выдаёт готовое видео: для преобразования параметров гауссиан в ролик нужен вызывающий код. Лицензия Apple Machine Learning Research Model License Agreement разрешает только некоммерческое исследовательское использование; репозиторий является сторонним производным и не одобрен Apple.

Сценарии применения

  • создание эффекта пролёта виртуальной камеры по одной фотографии
  • монокулярный синтез новых ракурсов сцены
  • генерация параметров 3D Gaussian splats по изображению

Ограничения

Разрешено только некоммерческое исследовательское использование. Модель выдаёт параметры гауссиан, а не готовое видео; воспроизведение и синтез ракурсов требуют внешнего кода.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SHARP (ONNX, WebGPU)

An ONNX export of SHARP ("Sharp Monocular View Synthesis in Less Than a Second"), prepared for in-browser inference with ONNX Runtime Web on WebGPU. It is used by SharpRig, which turns a single photo into a camera-move video in the browser.

Apple Machine Learning Research Model is licensed under the Apple Machine Learning Research Model License Agreement.

This is a model derivative, not an official Apple release, and it is not endorsed by Apple. Like the original, it may be used for non-commercial research purposes only; see LICENSE.

Files

FileSize
sharp.onnx4 MBgraph, with the weights stored as external data (sharp.onnx.data)
sharp.int8.bin0.66 GBthe external weights as int8 + per-output-channel scales, expanded back to fp16 on load

Modifications from the original checkpoint

  • Export: the network was traced in fp16 (fp32 inputs and outputs) from sharp_2572gikvuh.pt and exported to ONNX.
  • Unprojection moved out of the graph: the final unprojection from NDC to metric space, which needs an SVD that ONNX can't express, is left to the caller as a per-axis scale.
  • Int8 packing: the fp16 weights are packed as int8 with one float32 scale per output channel (round-to-nearest, weight-only). This halves the download. The pack is dequantised back to fp16 before inference, so the numerics are those of an fp16 model with int8-rounded weights.
  • Accuracy: measured against the fp32 checkpoint on a test photo, relative depth error is 0.19% (median) and 1.1% (p95).
  • Code: the export and packing are done by tools/export_sharp_onnx.py. No retraining or fine-tuning was done.

Inputs and outputs

  • Inputs: image float32 [1, 3, 1536, 1536] (RGB in [0, 1]); disparity_factor float32 [1] (focal length in px / image width).

  • Outputs (N = 2 × 768 × 768):

    • mean_vectors [1, N, 3]
    • singular_values [1, N, 3]
    • quaternions [1, N, 4] (w, x, y, z)
    • colors [1, N, 3] (linear RGB)
    • opacities [1, N]

    All are Gaussians in SHARP's NDC space.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnx

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
1edfee8

0 моделей

    Создать бенчмарк