Характеристики

Параметры: 545 млн
Лицензия: Своя лицензия
Архитектура: moonvit_k26 · dense
Базовая модель: Kimi-K2.6
Библиотека: transformers
Опубликована: 30 авг 2026

Ссылки

MoonViT-K2.6

Эмбеддинги изображенийИзображение → embedding3 профессии

MoonViT K2.6 извлекает признаки из изображений и проецирует визуальные токены для использования с языковой моделью Kimi K2.6.

27скачиваний за 30 дней0лайковвеса обновлены30 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MoonViT K2.6 — репозиторий с башней зрения MoonViT и проектором Kimi K2.6, подготовленный для загрузки как самостоятельной модели Transformers. По README, он содержит 27-слойную башню с размерностью скрытого состояния 1152, 16 головами внимания, промежуточной размерностью 4304 и патчами 14 пикселей; токены пространственно объединяются блоками 2×2 и сжимаются по времени. Проектор преобразует объединённые визуальные токены в размерность языковой модели Kimi K2.6.

Модель принимает изображения через стандартный интерфейс процессора и предназначена для извлечения визуальных признаков и подготовки проецированных признаков для Kimi K2.6. Веса опубликованы в формате safetensors; библиотека — Transformers. В README указано, что веса и выходы сверялись с родительской реализацией побитово. Репозиторий экспортирован из опубликованных весов Kimi K2.6 vision-only, а базовой моделью метаданные называют moonshotai/Kimi-K2.6. Лицензия обозначена как other; конкретные условия следует проверять на странице модели.

Сценарии применения

извлечение визуальных признаков из изображений
подготовка признаков изображения для Kimi K2.6
предобработка изображений для мультимодальных запросов
получение проецированных визуальных токенов для анализа изображений

Ограничения

Это компонент зрения, предназначенный для извлечения и проецирования визуальных признаков, а не самостоятельная модель для диалога или генерации текста. Для применения проецированных признаков с языковой моделью требуется соответствующая модель Kimi K2.6; условия лицензии обозначены как other и требуют проверки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MoonViT K2.6

This repository packages the Kimi K2.6 MoonViT Tower and Projector as a self-contained Transformers model. It does not download the full 64-shard checkpoint or fetch architecture code from another repository at runtime.

File	Tensors	What it holds
`model.safetensors`	329	MoonViT Tower
`projector.safetensors`	6	Kimi K2.6 Projector
`projector_config.json`, `projector.py`		Projector shapes and loader
`config.json`, `configuration_moonvit.py`, `modeling_moonvit.py`		Standalone Transformers model
`preprocessor_config.json`, `kimi_k25_vision_processing.py`, `media_utils.py`		Image preprocessing

Architecture

Component	Details
Tower	27 layers, 1152 hidden, 16 heads, 4304 intermediate, patch size 14
Token compression	2x2 spatial regrouping plus temporal pooling, no learned parameters
Projector	`LayerNorm(1152)`, flatten four patches, `Linear(4608, 4608)`, GELU, `Linear(4608, 7168)`

The Tower loads through AutoModel.from_pretrained(..., trust_remote_code=True). The processor accepts the standard images=... interface, and projector.py maps the merged tokens to the Kimi K2.6 language width.

Usage

See examples/inference.py for image-to-projected-features inference.

Validation

The release tests compare all 335 packaged tensors with shards 63 and 64 of the pinned Moonshot checkpoint using torch.equal. Fixed-image merged and projected outputs also match the parent implementation bit-for-bit on CPU and in BF16 on an NVIDIA A100.

Reproduction

The export script splits the BF16 weights published by exolabs/Kimi-K2.6-vision into separate Tower and Projector files. It derives a vision-only loader and processor from the pinned Moonshot implementation.

Credits

Moonshot AI released Kimi K2.6 and its modeling code. Exolabs published the combined vision-only weight file used by the exporter.

License

Kimi K2.6 License, the same license as the source model. The upstream third-party notices are included.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · image-feature-extraction

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: MoonViTModel
Ревизия весов: 4e5482b