/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Опубликована
11 авг 2026

Ссылки

Hugging Face

KAT-Coder-V2.5-Dev-35B-A3B-ABLITERATED-MTP-BF16

moeshawky
Генерация текстаТекст → текст10 профессий

Полноточная BF16-сборка KAT-Coder V2.5 Dev с MTP-головой для генерации текста и спекулятивного декодирования.

93скачиваний за 30 дней1лайквеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это полноточная сборка в формате GGUF BF16 модели KAT-Coder V2.5 Dev 35B-A3B от moeshawky: к базовой модели добавлена встроенная MTP-голова для спекулятивного декодирования. Архитектура — Qwen3.6-35B-A3B-класса, гибрид SSM и полного внимания; всего 35 млрд параметров, около 3 млрд активных на токен, 256 экспертов, из которых активны 8. Модель принимает текст и предназначена для генерации текста в диалоговом режиме, в том числе для задач программирования; MTP-голова может ускорять декодирование при поддержке со стороны сборки llama.cpp.

В карточке указаны английский и китайский языки. Репозиторий содержит один файл GGUF v3 размером около 66,2 ГиБ; для размещения весов требуется ориентировочно 75 ГБ или более свободной оперативной памяти или видеопамяти. Для использования нужна совместимая сборка llama.cpp с поддержкой MTP. Лицензия — Apache-2.0.

Сценарии применения

  • генерация и продолжение программного кода
  • диалоговые ответы на текстовые запросы
  • локальный запуск языковой модели через llama.cpp
  • ускорение декодирования с помощью спекулятивного предсказания токенов

Ограничения

Файл весов занимает около 66,2 ГиБ, для запуска рекомендуется иметь не менее 75 ГБ свободной RAM или VRAM. Ускорение MTP зависит от поддержки этой функции конкретной сборкой llama.cpp.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764моделиII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

KAT-Coder-V2.5-Dev-35B-A3B-ABLITERATED-MTP-BF16

Full-precision single-file GGUF (BF16) of the abliterated KAT-Coder V2.5 Dev 35B-A3B, with the fine-tuned Qwen3.6-35B-A3B MTP (multi-token prediction) head embedded in the model for speculative decoding.

  • Trunk: KridgeDookie's abliterated KAT-Coder V2.5 Dev 35B-A3B ("PHILADELPHIA CLASS", refusal-reduced)
  • MTP head: original-mtp-head.safetensors from gbuzhf/KAT-Coder-V2.5-Dev-MTP-GGUF (byte-identical to the Qwen/Qwen3.6-35B-A3B donor head at build time)
  • Format: GGUF v3, full BF16 (general.file_type = 32, MOSTLY_BF16; small 1-D tensors are F32, as standard)

File

FileSizeType
KAT-Coder-V2.5-Dev-35B-A3B-ABLITERATED-MTP-BF16.gguf71.1 GB (66.2 GiB)GGUF v3, BF16, single file

No split parts needed — the file downloads and runs directly.

Model details

Verified from the GGUF header:

PropertyValue
Architectureqwen35moe (Qwen3.6-35B-A3B class, hybrid SSM + full attention every 4 layers)
Parameters35B total / ~3B active per token
Experts256, 8 active (shared expert included)
Layers41 (block_count = 41)
Context length262,144 tokens
Hidden size2,048
Tensors753
MTPnextn_predict_layers = 1 (embedded)

Usage (llama.cpp)

llama-cli -m KAT-Coder-V2.5-Dev-35B-A3B-ABLITERATED-MTP-BF16.gguf \
  -p "Hello" -n 64 --spec-type draft-mtp

(Exact MTP flag name depends on your llama.cpp build; recent builds expose it as --spec-type draft-mtp.)

Hardware note

BF16 full precision: the weights alone are ~66 GiB, so plan for roughly 75+ GB of free RAM/VRAM (CPU offload works, but expect slow prompt and decode speeds). For lower resource requirements, use a quantized build — the parent repo KridgeDookie/KAT-Coder-V2.5-Dev-35B-A3B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS ships Q4_K_M, Q5_K_M, and Q8_0 GGUF options.

Provenance

PartSource
Abliterated trunkKridgeDookie/KAT-Coder-V2.5-Dev-35B-A3B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS
MTP headgbuzhf/KAT-Coder-V2.5-Dev-MTP-GGUF (original-mtp-head.safetensors)
Conversionllama.cpp convert_hf_to_gguf.py (bf16, full export)

License

Apache 2.0, inherited from the parent model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Можно запустить

Подбираем GPU…

Ревизия весов
3d406f7

0 моделей

    Создать бенчмарк