/ Модель

Характеристики

Параметры
453 млн
Лицензия
Своя лицензия
Архитектура
moonvit_v2 · dense
Базовая модель
Kimi-K3
Библиотека
transformers
Опубликована
27 авг 2026

MoonViT-V2

Эмбеддинги изображенийИзображение → embedding3 профессии

MoonViT-V2 — компактно упакованная зрительная башня Kimi K3 для извлечения признаков изображений и передачи их в мультимодальные модели.

119скачиваний за 30 дней0лайковвеса обновлены27 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MoonViT-V2 — дообученная зрительная башня MoonViT-V2 с проектором из мультимодальной модели Kimi K3. Репозиторий immanuelpeter упаковывает компоненты обработки изображений Kimi K3 отдельно от полного чекпойнта. Модель содержит 453 млн параметров; архитектура башни включает 27 слоёв, размер скрытого представления 1024, 12 голов внимания и патчи размером 14 пикселей. Сжатие токенов выполняется с помощью pixel shuffle 2×2 и временного пулинга, а проектор преобразует признаки в представление размерности 7168.

Модель предназначена для извлечения признаков изображений и получения проектированных визуальных представлений, например, как зрительный компонент мультимодальной системы. Веса башни сохранены в BF16, формат репозитория — safetensors. В README описано воспроизведение визуального тракта Kimi K3 без загрузки полного чекпойнта; авторы кода и исходных весов — AI4Industry и Moonshot AI соответственно. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Сценарии применения

  • извлечение визуальных признаков из изображений
  • подготовка признаков изображений для мультимодальной модели
  • построение визуального компонента для системы на базе Kimi K3

Ограничения

Репозиторий содержит зрительную башню и проектор, а не полный чекпойнт Kimi K3; лицензия обозначена как other, а её конкретные условия не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MoonViT-V2

This repository packages the Kimi K3 MoonViT-V2 Tower and Projector. It reproduces K3's image path without downloading the full 96-shard, 2.8T-parameter checkpoint. AI4Industry/MoonViT-V2 publishes the Tower alone.

Contents

FileTensorsWhat it holds
model.safetensors165MoonViT-V2 Tower, bit-identical to AI4Industry/MoonViT-V2
projector.safetensors3Kimi K3 patchmergerv2
projector_config.jsonProjector shapes, read from the weights
config.json, configuration_moonvit_v2.py, modeling_moonvit_v2.py, image_processing_moonvit_v2.py, preprocessor_config.jsonVendored from AI4Industry/MoonViT-V2

Architecture

ComponentDetails
Tower27 layers, 1024 hidden, 12 heads, 1536 QKV, patch size 14
Token compression2x2 pixel shuffle plus temporal pooling, no learned parameters
ProjectorLinear(4096, 4096) no bias, GELU, Linear(4096, 7168) no bias, RMSNorm(7168)

Usage

See examples/inference.py for a complete image-to-projected-features example.

Reproduction

The export script extracts mm_projector from shard 95 and vision_tower from shard 96 of moonshotai/Kimi-K3. It preserves the original BF16 weights and verifies all 165 Tower tensors against AI4Industry/MoonViT-V2 before writing.

Credits

Moonshot AI released the Kimi K3 weights. The modeling and image-processing code comes unchanged from AI4Industry/MoonViT-V2.

License

Kimi K3 License, the same license as the source model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · image-feature-extraction

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
MoonViTV2PretrainedModel
Ревизия весов
bcaedfc

0 моделей