Характеристики

Размер весов: 644 ГБ
Лицензия: Своя лицензия
Архитектура: kimi_k25 · dense
Базовая модель: Kimi-K2.7-Code
Библиотека: mlx
Опубликована: 13 июн 2026

Ссылки

Kimi-K2.7-Code-MLX-4bit-hiprec

Генерация текстаТекст → текст8 профессий

Kimi-K2.7-Code-MLX-4bit-hiprec — конверсия модели moonshotai/Kimi-K2.7-Code для MLX на Apple Silicon, опубликованная pipenetwork.

1 702скачиваний за 30 дней1лайквеса обновлены13 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это текстовая модель генерации кода без визуального модуля, основанная на архитектуре DeepSeek-V3-style MoE. Исходная модель содержит около 1 трлн параметров, из которых примерно 32 млрд активируются при обработке запроса.

Модель предназначена для генерации и обработки программного кода, например написания Python-кода. Эксперты MoE сохранены в исходном формате int4 с размером группы 32, а attention, shared/dense MLP и lm_head квантизированы до 6 бит с размером группы 64. Средний размер составляет около 5 бит на вес, объём файлов — примерно 600 ГБ. Для запуска требуется около 768 ГБ или более unified memory; на компьютерах с 512 ГБ памяти модель не помещается. Используется через mlx-lm с поддержкой remote code.

Преимущество сборки — более высокая точность attention, router, dense-слоёв и lm_head по сравнению с равномерной 4-битной квантизацией при умеренной прибавке к размеру. Ограничения включают отсутствие vision-возможностей, чрезвычайно высокие требования к памяти и отсутствие полноценного тестового запуска издателем: выполнена только проверка целостности файлов, индекса весов, шардов, конфигурации и tokenizer. Модель распространяется по лицензии Kimi K2; подробные условия приведены в файле LICENSE.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764модели II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей II.7Разработка и данныеDevOps, облако и эксплуатация IT-системAI помогает развёртывать, наблюдать и оптимизировать цифровые системы и облачную инфраструктуру.20 задач7 196моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Kimi-K2.7-Code-MLX-4bit-hiprec

MLX (Apple Silicon) conversion of moonshotai/Kimi-K2.7-Code — a ~1T-parameter (32B active) DeepSeek-V3-style MoE coding model. Text-only build (vision tower dropped during conversion).

What "hiprec" means

The source checkpoint is natively 4-bit: its routed experts ship as compressed-tensors int4 (group size 32), while the attention, shared/dense MLPs and lm_head are left in bf16. The experts (the ~95% bulk) therefore cannot be made higher-precision — there is no 5/6/8-bit version of this model to convert from.

This build keeps the experts at their native 4-bit and quantizes the otherwise-bf16 layers to 6-bit (group 64) instead of crushing them to 4-bit. Net effect (~5.0 bits/weight, ~600 GB): higher fidelity on attention/router/dense/lm_head than a uniform-4-bit MLX build, at a small size premium.

If you want the smallest footprint instead, the uniform sub-4-bit community builds (inferencerlabs 3.5-bit, spicyneuron 3.6-bit, mlx-community 4-bit) are the alternatives.

Requirements

~600 GB on disk and roughly 768 GB+ of unified memory to run (it does not fit a 512 GB machine).

Use with mlx-lm

pip install mlx-lm
python -m mlx_lm generate --model pipenetwork/Kimi-K2.7-Code-MLX-4bit-hiprec --trust-remote-code --prompt "Write a Python LRU cache." -m 512

Validation

Not run-tested by the publisher — the model exceeds the conversion host's RAM. Verified by file-integrity check (weight index, shard presence, config, tokenizer) only.

License

Released under the Kimi K2 license (see LICENSE). Quantization config (excerpt): bits=4, group_size=32 for experts; non-expert layers at 6-bit/group-64.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры: KimiK25ForConditionalGeneration
Ревизия весов: db20320