Характеристики

Лицензия: Apache 2.0
Базовая модель: Qwen3-0.6B-Base
Опубликована: 10 сен 2026

Ссылки

Hugging Face arXiv 2609.32429

PrismQuant-Qwen3-Base

ForeverBlue

Генерация текстаТекст → текст3 профессии

Набор квантизованных чекпойнтов Qwen3 для текстового продолжения с методом PrismQuant W4A4KV4.

408скачиваний за 30 дней1лайквеса обновлены29 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PrismQuant-Qwen3-Base — набор официальных исследовательских чекпойнтов для метода PrismQuant, разработанного авторами проекта PrismQuant. Метод применяет оптимизированные вращения в нуль-пространстве, чтобы согласовать доминирующие направления активаций с постоянными направлениями групп асимметричной квантизации. В репозитории представлены варианты для базовых моделей Qwen3 размером 0,6B, 1,7B и 4B параметров; все они используют режим W4A4KV4.

Модели предназначены для текстового продолжения на основе базовых языковых моделей. Веса GPTQ INT4 хранятся как деквантизованные тензоры с плавающей точкой; эталонная среда выполнения применяет квантизацию активаций и KV-кэша, сохраняя плавающую точку при хранении. Для запуска требуется загрузчик PrismQuant, который также получает соответствующую базовую модель и токенизатор; репозиторий не является самостоятельным чекпойнтом Transformers или готовой упакованной INT4-моделью для сервинга. Указана лицензия Apache-2.0.

Сценарии применения

текстовое продолжение на базе Qwen3
локальная проверка метода квантизации PrismQuant
эксперименты с квантизацией весов, активаций и KV-кэша
сравнение вариантов Qwen3 размером 0,6B, 1,7B и 4B

Ограничения

Для запуска нужен загрузчик PrismQuant и соответствующая базовая модель с токенизатором; артефакт не работает как самостоятельный чекпойнт Transformers или упакованная INT4-модель для сервинга. Эталонные вычисления используют float32 и требуют памяти для базовой модели, активаций и KV-кэша.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PrismQuant-Qwen3-Base

Paper · Code · Loading guide

Official checkpoints for PrismQuant: Optimal Null-Space Rotations for Grouped Quantizers. PrismQuant aligns dominant activation directions with the constant directions of asymmetric quantization groups.

Models

Model key	Base model	Quantization
`qwen3_0.6b_base`	Qwen/Qwen3-0.6B-Base	W4A4KV4
`qwen3_1.7b_base`	Qwen/Qwen3-1.7B-Base	W4A4KV4
`qwen3_4b_base`	Qwen/Qwen3-4B-Base	W4A4KV4
`qwen3_8b_base`	Qwen/Qwen3-8B-Base	W4A4KV4

Quick start

git clone --depth 1 https://github.com/ForeverBlue816/PrismQuant.git
cd PrismQuant
pip install -e .

from prismquant import load_model

loaded = load_model("qwen3_0.6b_base")
print(loaded.generate("The key idea behind quantization is", max_new_tokens=64))

The loader selects the default PrismQuant checkpoint, downloads its required files at a pinned revision, and obtains the matching base model and tokenizer. These are base models for text completion.

Checkpoint format

The GPTQ INT4 values are stored as dequantized floating-point tensors. The reference runtime applies activation and KV quantization while retaining floating-point storage. Use the PrismQuant loader; this repository is not a standalone Transformers checkpoint or a packed INT4 serving model.

Reference compute: float32. Budget for the base-model state, activations and KV cache as well as the downloaded tensors.

config.json declares the PrismQuant artifact format and default models. checkpoints/ contains decoder weights; rotations/ contains the factors required by the loader.

License

Qwen-derived weights retain Apache-2.0.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов: 74b9ff2