Характеристики

Контекст: 262 144 токена
Размер весов: 21,9 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_5_moe · dense
Базовая модель: KAT-Coder-V2.5-Dev
Библиотека: mlx
Опубликована: 24 июл 2026

Ссылки

KAT-Coder-V2.5-Dev-OptiQ-4bit

Генерация текстаТекст → текст10 профессий

KAT-Coder-V2.5-Dev-OptiQ-4bit — это квантованная версия модели KAT-Coder-V2.5-Dev, разработанная сообществом mlx-community на базе модели Kwaipilot.

8 201скачиваний за 30 дней20лайковвеса обновлены15 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации и анализа программного кода, а также для сценариев, где требуется рассуждение перед формированием ответа. Она реализована для MLX и ориентирована на локальный запуск на компьютерах Apple Silicon без PyTorch и облачных сервисов.

Архитектура модели — qwen3_5_moe: разреженная MoE-система с 256 маршрутизируемыми экспертами, сочетающая гибридные линейные слои и полное внимание. Используется смешанная статическая квантизация 4/8 бит с целевым показателем около 4,5 бит на параметр: 400 проекций представлены в 4-битном формате, 111 — в 8-битном. Размер модели на диске составляет около 20 ГБ. В README указан английский язык; другие языки, размер контекста и поддерживаемые модальности не заявлены.

Сильными сторонами модели являются локальная работа на Apple Silicon, сниженный объём хранения благодаря квантизации и совместимость с MLX-инструментами, включая mlx-lm и optiq. Для запуска рекомендуется пакет optiq; он также предоставляет OpenAI-совместимый локальный API и квантизацию KV-кэша. Ограничения включают ориентацию прежде всего на задачи программирования, требования к совместимому оборудованию и отсутствие в README данных о точности, производительности, языковой поддержке за пределами английского и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764модели II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

KAT-Coder-V2.5-Dev-OptiQ-4bit

Built with mlx-optiq, the MLX-native toolkit to quantize, fine-tune, and serve LLMs locally on Apple Silicon (no PyTorch, no cloud). Try the Lab · All OptiQ quants · Docs

An OptiQ mixed-precision MLX quant of KAT-Coder-V2.5-Dev, a qwen3_5_moe coding model (256-routed-expert sparse MoE with hybrid linear + full attention).

Mixed 4/8-bit static build — per-layer bit-widths assigned to a 4.5 target bits-per-weight: 400 projections at 4-bit, 111 at 8-bit.
~4.51 bits per weight, 20 GB on disk.

Requirements

pip install -U optiq

qwen3_5_moe loads under stock mlx-lm too, but optiq serve adds mixed- precision loading, KV-cache quantization, and the OptiQ Lab.

Running it

optiq serve --model mlx-community/KAT-Coder-V2.5-Dev-OptiQ-4bit

Then use the OpenAI-compatible endpoint at http://localhost:8000/v1, the OptiQ Lab, or point optiq code at it. This is a reasoning coder — it thinks before it answers.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры: Qwen3_5MoeForConditionalGeneration
Ревизия весов: 57c6e83