/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Опубликована
8 авг 2026

Ссылки

Hugging Face

anycam-mct

thekman17
Языковая модель

AnyCam-MCT оценивает геометрию и позу камеры по нескольким кадрам видео для калибровки камеры и визуальной одометрии.

0скачиваний за 30 дней0лайковвеса обновлены17 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AnyCam-MCT — модель компьютерного зрения для калибровки камеры по нескольким кадрам видео и оценки геометрии камеры. Её разработали в рамках магистерской работы Мюнхенского технического университета (TU Munich, 2026), расширив AnyCam модулем Multi-Frame Calibration Transformer (MCT). MCT содержит около 25 млн обученных параметров и агрегирует признаки нескольких кадров с помощью межкадрового внимания; обучение выполнялось без разметки на примерно 82 тысячах кадров реальных видео. Репозиторий содержит объединённый чекпойнт для инференса, основанный на PyTorch.

Модель предназначена для калибровки камеры и оценки её позы в видеопоследовательностях, в том числе в сценариях визуальной одометрии. В заявленных измерениях ошибка оценки фокусного расстояния составляет 15,7% на исходных широкоугольных кадрах KITTI и 20,4% на окнах KITTI. Лицензия — Apache-2.0.

Ограничения включают калибровку на уровне специализированной модели для одного изображения: агрегация нескольких кадров в данном чекпойнте не превосходит усреднение покадровых предсказаний. Направление трансляции на TUM-RGBD оценивается хуже, чем AnyCam; крупные модели с обучением на разметке показывают более высокую точность абсолютной позы, а на длинных последовательностях возможен дрейф траектории.

Сценарии применения

  • оценка фокусного расстояния камеры по кадрам видео
  • калибровка камеры в видеопоследовательности
  • оценка позы камеры для визуальной одометрии
  • анализ геометрии динамических видео без разметки

Ограничения

Для этого чекпойнта агрегация кадров не превосходит усреднение покадровых предсказаний, а оценка направления трансляции на TUM-RGBD хуже, чем у AnyCam. Крупные модели с обучением на разметке точнее оценивают абсолютную позу; на длинных последовательностях возможен дрейф траектории.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

AnyCam-MCT — Multi-Frame Calibration Transformer

Final checkpoint of the master's thesis "Learning Camera Geometry from Unlabeled Real-World Dynamic Video" (TU Munich, 2026): AnyCam (CVPR 2025) extended with the Multi-Frame Calibration Transformer (MCT), a ~25M-parameter cross-frame attention module that aggregates AnyCalib features over multiple frames for video calibration, coupled to AnyCam's pose head via a focal embedding. Trained fully self-supervised on ~82k frames of in-the-wild video; this checkpoint includes the August 2026 correction pass (evaluation bugs fixed, calibration branch retrained with proper input normalization, checkpoint selected by validation loss).

Code, benchmarks, and reproduction instructions: https://github.com/kalman17/mcvo

Headline results (honest protocol, raw rows in the GitHub repo; tables updated 17 August 2026 — see the repo CHANGELOG)

MeasurementThis modelCompetitors measured
Focal error, native wide KITTI frames (own preprocessing each)15.7 %11.6 % VGGT-1B · 14.2 % AnyCalib · 20.4 % Pi3 · 38.0 % DA3
Focal error, KITTI windows20.4 %18.4 % AnyCalib · 66.9 % AnyCam
Focal error, Sintel / TUM-RGBD windows20.7 % / 12.9 %20.1 % / 11.2 % AnyCalib
Rotation error, Sintel (median)0.40°0.50° (AnyCam)

Known limitations (stated in the repo README): calibration is on par with the single-image specialist, not beyond it, and multi-frame aggregation does not beat per-frame averaging for this checkpoint; translation direction on TUM-RGBD is worse than AnyCam; large supervised models (Depth Anything 3) lead absolute pose accuracy; full-trajectory drift vs long-context AnyCam inference.

Cost (NVIDIA A40, 4-frame window, end-to-end)

ParamsPeak GPU memLatency
MCT calibration branch alone346 M (25 M trained)1.4 GiB161 ms
Full thesis pipeline (MCT + AnyCam pose, incl. depth/flow nets)460 M5.0 GiB820 ms
Follow-up image-only VO model (thekman17/mcvo)154 M0.69 GiB75 ms

Same GPU / windows / protocol as the comparison against VGGT, π³ and Depth Anything 3 in the GitHub README (honest_benchmarks/latency_summary.json).

Files

  • mct_final.pt — merged inference checkpoint (pose predictor + MCT calibration branch; load with experiments/benchmark_phase_c_checkpoints.py:create_inference_model
    • load_phase_c_checkpoint from the GitHub repo, input_normalization=True).

License / attribution

Apache-2.0. Contains weights derived from AnyCam (MIT, Wimbauer et al., CVPR 2025) and AnyCalib (Apache-2.0, Tirado-Garín et al., ICCV 2025); DINOv2 backbones (Apache-2.0, Meta). Please cite those works alongside the thesis.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

3D-генерация пока не поддерживается.

Ревизия весов
41fa3c4

0 моделей

    Создать бенчмарк