Характеристики

Лицензия: Apache 2.0
Базовая модель: KAT-Coder-V2.5-Dev
Библиотека: gguf
Опубликована: 6 авг 2026

Ссылки

Hugging Face

bmk-models

petedavis

Генерация текстаТекст → текст8 профессий

Квантизированная GGUF-версия KAT-Coder-V2.5-Dev для генерации кода и агентных сценариев программирования.

59скачиваний за 30 дней0лайковвеса обновлены12 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

petedavis/bmk-models — квантизированная версия KAT-Coder-V2.5-Dev, подготовленная для bare-metal движка инференса bmk. Модель основана на MoE-архитектуре Qwen3.5: около 34,7 млрд параметров всего и примерно 3 млрд активных; в ней 40 слоёв, 256 маршрутизируемых экспертов с выбором top-8 и один общий эксперт. Используется гибридное внимание GDN/SSM, заявленный контекст — 262 144 токена.

Веса представлены в формате GGUF с асимметричной квантизацией: экспертные gate/up слои — IQ2_XXS, down слои — Q2_K, а внимание, общий эксперт, эмбеддинги и выходная голова — Q8_0. Квантизация откалибрована importance matrix. Модель рассчитана на генерацию кода и агентные сценарии программирования; потоковая загрузка экспертов предназначена для запуска на видеокартах с 8, 12 или 16 ГБ VRAM. Лицензия — Apache-2.0.

Сценарии применения

генерация и дополнение программного кода
помощь в решении задач программирования в чате
агентное программирование с передачей задач инструментам
локальный инференс кодовой модели на видеокарте с ограниченной памятью

Ограничения

Агрессивная низкобитная квантизация экспертных слоёв может снижать качество относительно исходной модели. Для запуска в описанном режиме требуется движок bmk с поддержкой потоковой загрузки экспертов.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели II.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

KAT-Coder-V2.5-Dev — bmk asymmetric quantization (IQ2_XXS/Q2_K experts, Q8_0 dense)

Asymmetric GGUF quantization of Kwaipilot/KAT-Coder-V2.5-Dev (qwen35moe: 34.7B total / ~3B active, 40 layers, 256 routed experts top-8, 1 shared expert, GDN hybrid attention, 262144 ctx), built for the bmk bare-metal inference engine.

Quantization map

Component	Type
Routed experts gate/up (40 × 256)	IQ2_XXS
Routed experts down (40 × 256)	Q2_K
Attention incl. GDN/SSM, shared experts, embeddings, output head	Q8_0

Importance-matrix calibrated (Kwaipilot imatrix, 510 entries / 802 chunks). File size: 10.9 GiB. Designed for 8/12/16 GB VRAM cards via expert-granular streaming (only the top-8 routed experts per layer are loaded).

Usage

Run with bmk:

bash download_model.sh bmk-q2
LD_LIBRARY_PATH=vendor/cuda-runtime ./bmk -m models/kat-coder-asym.gguf -p "..." -n 64

llama.cpp-compatible GGUF; the tensor layout follows the standard qwen35moe architecture.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

Не найден файл GGUF для запуска.

Ревизия весов: 92217ac