Набор квантизованных чекпойнтов Qwen3 для текстового продолжения с методом PrismQuant W4A4KV4.

Подходит для: текстовое продолжение на базе Qwen3 · локальная проверка метода квантизации PrismQuant · эксперименты с квантизацией весов, активаций и KV-кэша

Квантизованный чекпойнт PrismQuant на базе Llama 3.2 3B для генерации продолжений текста с квантизацией весов, активаций и KV-кэша.

Подходит для: генерация продолжения по текстовому запросу · локальные эксперименты с квантизацией LLM · оценка схемы W4A4KV4 на задачах генерации текста

PrismQuant-Llama-3.1-70B — 70-миллиардная модель на базе Llama 3.1 для генерации текста с режимом квантования W4A4KV4.

Подходит для: продолжение текстового фрагмента · генерация ответов и другого текста по запросу · оценка квантования LLM с режимом W4A4KV4

Квантованный чекпойнт Llama 3.1 8B для генерации текста и диалогов с квантизацией весов, активаций и KV-кэша W4A4KV4.

Подходит для: генерация продолжений текста · ответы в диалоговом интерфейсе · локальный запуск Llama 3.1 с квантизацией W4A4KV4

MoE-модель на основе Qwen3-30B-A3B-Base для продолжения текста с квантизацией W4A4KV4 через загрузчик PrismQuant.

Подходит для: продолжение текстового фрагмента · генерация текста на основе заданной подсказки · локальный запуск базовой языковой модели с квантизацией весов, активаций и KV-кэша