/ Модель

Характеристики

Лицензия
CC BY-NC 4.0
Базовая модель
Utonia
Библиотека
mlx
Опубликована
10 июл 2026

utonia-mlx

Языковая модель

Конвертированные для MLX веса Utonia позволяют извлекать признаки и выполнять семантическую сегментацию облаков точек на Apple Silicon.

0скачиваний за 30 дней0лайковвеса обновлены10 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mnmly/utonia-mlx содержит веса энкодера Utonia в формате safetensors для запуска через MLX на компьютерах Apple Silicon. Репозиторий подготовил mnmly: веса Point Transformer V3 (режим mode-3) преобразованы из PyTorch без переобучения, а конфигурация вынесена в отдельный JSON. Энкодер имеет около 137 млн параметров, использует 3D RoPE и четыре кривые сериализации; также приложена линейная голова для сегментации ScanNet-20.

Модель предназначена для извлечения признаков и семантической сегментации облаков точек. Исходный Utonia предварительно обучен на облаках из indoor RGB-D, уличного LiDAR, дистанционного зондирования, CAD-объектов и точек, восстановленных из видео. README описывает запуск через Swift-порт mlx-swift-utonia на macOS, в том числе на облаках с миллионами точек; заявлено совпадение результатов сегментации с эталонной реализацией PyTorch на 99,87% по argmax.

Это конверсия весов Pointcept/Utonia, а не новое дообучение. Лицензия репозитория — CC BY-NC 4.0, поэтому коммерческое использование не разрешено её условиями. Для запуска нужен совместимый Apple Silicon и программный порт MLX/Swift; описанный пример принимает координаты, цвет и нормали облака точек.

Сценарии применения

  • извлечение признаков из облака точек
  • семантическая сегментация сцен ScanNet-20
  • обработка облаков точек indoor RGB-D
  • анализ уличных облаков LiDAR
  • обработка 3D-данных дистанционного зондирования
  • извлечение признаков из CAD-моделей

Ограничения

Репозиторий предназначен для запуска через MLX на Apple Silicon и включает специализированную голову сегментации ScanNet-20. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Utonia — MLX (safetensors) weights for Apple Silicon

MLX-converted weights for Utonia (Utonia: Toward One Encoder for All Point Clouds, arXiv:2603.03283) — a Point Transformer V3 (mode-3) encoder pretrained across indoor RGB-D, outdoor LiDAR, remote sensing, object CAD, and video-lifted point clouds.

These weights power mlx-swift-utonia, a numerically verified Swift/mlx-swift port that runs Utonia natively on Apple Silicon (macOS): full-resolution multi-million-point clouds, ScanNet-20 semantic segmentation, and PCA feature visualization.

Files

FileContents
utonia.safetensorsEncoder weights (137,253,816 params, float32) — converted from utonia.pth
utonia_config.jsonModel config extracted from the checkpoint (enc_channels=(54,108,216,432,576), enc_depths=(3,3,3,12,3), enc_num_head=(3,6,12,24,32), 3D RoPE, 4 serialization curves)
utonia_seg_head_sc.safetensorsScanNet-20 linear-probe segmentation head (Linear(1386→20)) — converted from utonia_linear_prob_head_sc.pth
utonia_seg_head_sc_config.jsonSeg-head config
*_manifest.txtTensor name/shape manifests for both checkpoints

Changes from the original

Converted from the PyTorch checkpoints in Pointcept/Utonia (no retraining, no fine-tuning — the numbers are byte-identical modulo the format changes below):

  • .pth (pickled state dict) → .safetensors, float32.
  • Config dict extracted from the checkpoint into a standalone JSON.
  • Tensor values are unchanged; the Swift loader transposes the spconv SubMConv3d kernels from (C_out, k, k, k, C_in) to (k, k, k, C_in, C_out) at load time.

Numerical parity of the Swift port against the reference PyTorch implementation: bit-exact serialization, encoder relative error 0.27 % (fp32 GPU drift), 99.87 % semantic-segmentation argmax agreement.

Usage (mlx-swift)

import Utonia

let session = try UtoniaSession.load(SessionConfig(weightsDir: weightsDirURL))
let result = session.run(RawCloud(coord: coords, color: colors, normal: normals))

Or via the CLI from mlx-swift-utonia:

utonia-cli semseg --weights-dir weights --input scene/ --output segmented.ply
utonia-cli pca    --weights-dir weights --input scene/ --output features.ply

License

CC-BY-NC-4.0, inherited from the original Pointcept/Utonia weights — non-commercial use only. The mlx-swift-utonia code is licensed separately (see its repository); this restriction applies to the weights.

All credit for the model belongs to the Utonia authors (Pointcept / The University of Hong Kong and collaborators).

Citation

@misc{zhang2026utoniaencoderpointclouds,
      title={Utonia: Toward One Encoder for All Point Clouds},
      author={Yujia Zhang and Xiaoyang Wu and Yunhan Yang and Xianzhe Fan and Han Li and Yuechen Zhang and Zehao Huang and Naiyan Wang and Hengshuang Zhao},
      year={2026},
      eprint={2603.03283},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2603.03283},
}

@misc{pointcept2023,
    title={Pointcept: A Codebase for Point Cloud Perception Research},
    author={Pointcept Contributors},
    howpublished = {\url{https://github.com/Pointcept/Pointcept}},
    year={2023}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов
43cadea

0 моделей