Квантованная версия мультимодальной Kimi K3 для извлечения признаков и генерации текста в совместимом runtime W4A8.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Kimi-K3-W4A8-K512-GPTQ-Mixed-Cal72-Seq1024 — производная версия мультимодальной модели Kimi K3 от Moonshot AI, подготовленная проектом open-inference. В ней квантованы только маршрутизируемые экспертные блоки: используются знаковые INT4-значения с группировкой K512 и масштабами FP32; остальные исходные тензоры сохранены без изменений. Файлы представлены в формате safetensors и compressed-tensors.
Артефакт рассчитан на извлечение признаков и, согласно каталожным метаданным, может использоваться для генерации текста. README указывает, что сборка предназначена для специального runtime W4A8 и не гарантирует совместимость с произвольными загрузчиками. Базовая модель — moonshotai/Kimi-K3; лицензия указана как other.
Для использования требуется специальный runtime W4A8; совместимость с произвольными загрузчиками не заявлена. README не приводит сведения о лицензии, а метаданные классифицируют её как other.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Source: moonshotai/Kimi-K3 at f831ab66814297da540d832a5235f8e904f29d06. Build contract: kimi-k3-w4a8-k512-v1.
Only routed experts are quantized: symmetric signed INT4 [-7,7], contiguous K512 groups and FP32 scales, compressed-tensors offset-binary INT32 packing. All other source tensors are preserved exactly. This artifact targets a custom W4A8 runtime; it does not claim compatibility with arbitrary loaders.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Модели нужен код из репозитория; автор пока не в списке доверенных организаций.