/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
FreeSplatter
Библиотека
gguf
Опубликована
25 июн 2026

free-splatter.cpp

Языковая модель3 профессии

GGUF-конверсии FreeSplatter предсказывают параметры 3D-гауссиан по нескольким некалиброванным изображениям сцены или объекта.

201скачиваний за 30 дней2лайкавеса обновлены25 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LocalAI-io публикует GGUF-конверсии весов TencentARC/FreeSplatter для движка free-splatter.cpp. Модель принимает несколько некалиброванных изображений одной сцены или объекта и предсказывает для каждого пикселя параметры 3D-гауссиан: положение, цвет на основе сферических гармоник, прозрачность, масштаб и вращение. Варианты scene рассчитаны на два частично перекрывающихся ракурса, а object — на 3–4 ракурса вокруг объекта; изображения обрезаются по центру и приводятся к 512×512.

Веса используют общий трансформерный каркас: токенизатор патчей, мультиизображенческий трансформер и голову предсказания гауссиан. Конверсии F16 и F32 работают через движок на CPU или Vulkan GPU; результат можно передать в формате .splat или получить как тензор float32. Растеризация гауссиан и решение PnP для поз камер в модель не входят. Репозиторий распространяется по лицензии Apache-2.0.

Сценарии применения

  • реконструкция 3D-сцены по нескольким фотографиям
  • создание 3D-представления объекта по ракурсам вокруг него
  • получение параметров гауссианного сплаттинга для 3D-вьюера

Ограничения

На вход требуются несколько изображений одного объекта или сцены; каждый ракурс центрируется и масштабируется до 512×512. Растеризатор гауссиан и решатель PnP для поз камер не входят в состав весов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

free-splatter.cpp — GGUF weights

GGUF conversions of TencentARC/FreeSplatter for free-splatter.cpp, a small C/C++ (ggml) inference engine that runs the FreeSplatter neural-network front-half on CPU or a Vulkan GPU — no camera poses, no Python.

Given N uncalibrated images it returns, for every input pixel, a 3D Gaussian (position · spherical-harmonic colour · opacity · scale · rotation) that a Gaussian-splatting viewer can render. The rasterizer and PnP pose solver are out of scope — these weights cover the patch tokenizer → multi-view transformer → per-pixel Gaussian head.

Files

filevariantprecisionsizenotes
freesplatter-scene-f16.ggufscenef16~596 MBrecommended; 2 overlapping views of a scene
freesplatter-scene-f32.ggufscenef32~1.2 GBfull precision (reference / CPU)
freesplatter-object-f16.ggufobjectf16~596 MB3–4 views around one object

All variants share the same transformer backbone; they differ only in the head config (gaussian_channels, sh_residual, use_2dgs) and what they were trained on. The GGUF carries those as free-splatter.* KV metadata, so the engine configures itself from the file.

Usage

# build the engine (see the repo README), then:
free_splatter-cli --device vulkan --splat scene.splat \
  freesplatter-scene-f16.gguf view1.jpg view2.jpg

Each view is center-cropped and resized to 512×512. The output .splat (antimatter15 format) opens in the bundled WebGL viewer or any Gaussian-splatting viewer; pass --out result.f32 instead for the raw [N, 512, 512, gaussian_channels] float32 Gaussian tensor. There is also a drop-photos-in-the-browser web app and a multi-scene demo-video renderer — see the project repo.

How these were made

Converted with scripts/convert.py directly from the upstream FreeSplatter .safetensors checkpoints (needs only torch + safetensors + gguf). The converter maps the transformer.* weights of pieces 1–3 and fails loudly on any unmapped or missing tensor — no weight is silently dropped.

License & attribution

Apache-2.0. These are derivative weights of TencentARC/FreeSplatter (Apache-2.0); all credit for the model goes to the FreeSplatter authors. The GGUF packaging and the inference engine are part of free-splatter.cpp.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · gguf

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
96500d1

0 моделей