/ Модель
Каталог

Характеристики

Параметры
1,3 млрд
Лицензия
CC BY-NC 4.0
Базовая модель
vjepa2-vitg-fpc64-256
Библиотека
mlx
Опубликована
12 июл 2026

Ссылки

Hugging FacearXiv 2605.04326

vjepa2-vitg-fpc64-256-mlx

vasanth009
ЭмбеддингиТекст → embedding3 профессии

MLX-конверсия видеоэнкодера V-JEPA 2 ViT-g для извлечения признаков видео на Apple Silicon и использования в TRIBE v2.

15скачиваний за 30 дней0лайковвеса обновлены12 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это преобразованная для библиотеки MLX версия видеоэнкодера V-JEPA 2 ViT-g от Meta FAIR, подготовленная vasanth009 для извлечения признаков на компьютерах Apple Silicon. Модель содержит около 1,3 млрд параметров; веса сохранены в формате safetensors с точностью fp16. В репозитории оставлена часть encoder, а predictor исключён.

Модель предназначена для получения представлений видео и использования в качестве визуального backbone, в частности в Mac-версии TRIBE v2 с головой кодирования активности мозга. README сообщает о проверке сходства с официальной реализацией TRIBE и ускорении относительно кодирования на CPU в тестовой конфигурации. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

Сценарии применения

  • извлечение признаков из видеоклипов на Mac с Apple Silicon
  • получение векторных представлений видео для последующей классификации
  • подготовка визуальных признаков для модели кодирования активности мозга TRIBE v2

Ограничения

Требуется среда MLX на Apple Silicon; это только encoder без predictor, поэтому модель не включает полный набор компонентов исходной V-JEPA 2. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейIV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

V-JEPA2 ViT-g → MLX (TRIBE vision backbone)

MLX (fp16) conversion of facebook/vjepa2-vitg-fpc64-256 for fast video feature extraction on Apple Silicon.

Used by the TRIBE v2 Mac fork: vasanthsreeram/tribev2 with the brain encoding head facebook/tribev2.

Files

FileDescription
model.safetensorsEncoder weights (fp16, MLX layout), ~1.9 GB
config.jsonViT-g encoder config (hidden=1408, 40 layers, …)

How this was converted

  1. Load HF AutoModel for facebook/vjepa2-vitg-fpc64-256 in fp32.
  2. Map tensors with vjepa2-mlx convert_state_dict (Conv3d layout, QKV, etc.).
  3. Keep encoder.* only (predictor dropped — not used by TRIBE).
  4. Cast to fp16, save safetensors with format=mlx metadata.
  5. Config: mlp_ratio=48/11 to match HF (not integer 4).

Full write-up: docs/MLX_CONVERSION.md in the code fork.

Validation

Against official torch TRIBE vision-only preds on a 1 s clip (same config):

  • Cosine ≈ 0.96, Pearson r ≈ 0.96
  • Encoder-only random input vs HF: cosine ≈ 0.9994
  • Runtime: ~11× faster than torch CPU encode on the test Mac

Usage with TRIBE fork

hf download vasanth009/vjepa2-vitg-fpc64-256-mlx --local-dir mlx_weights/V-JEPA2-vitg-fpc64-256
# then in the tribev2 fork:
python demo_data/run_efficient.py your.mp4 --open

from tribev2.mlx_vjepa import encode_clip_frames, install_mlx_video_hooks
# requires vjepa2_mlx package for the encoder graph

License & attribution

  • Weights derived from Meta V-JEPA2 — CC-BY-NC-4.0 (non-commercial), same spirit as upstream.
  • Cite the TRIBE paper if you use the brain model.
  • Conversion utilities based on vjepa2-mlx.

Not affiliated with Meta. This is a community conversion for Apple Silicon inference.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов
fa5afa4

0 моделей

    Создать бенчмарк