Характеристики

Контекст: 4 096 токенов
Параметры: 6,6 млрд
Лицензия: Llama 2
Архитектура: llama · dense
Базовая модель: Llama-2-7b-hf
Опубликована: 24 июн 2026

Ссылки

Hugging Face arXiv 2607.07964

Llama-2-7b-KronQ-W2A16-g128

donghyunli

Генерация текстаТекст → текст4 профессии

Квантованная до 2 бит версия Llama 2 на 7 млрд параметров для более компактной генерации англоязычного текста.

31скачиваний за 30 дней0лайковвеса обновлены24 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Llama-2-7b-KronQ-W2A16-g128 — 6,6-миллиардная плотная авторегрессионная модель генерации текста на архитектуре Llama, подготовленная на основе meta-llama/Llama-2-7b-hf с помощью KronQ. Веса квантованы до 2 бит с группами по 128 параметров, а активации остаются 16-битными; упакованный формат занимает около 2,2 ГБ. Для распаковки весов на лету используется объединённое CUDA-ядро с BiIP и групповыми масштабами.

Модель предназначена для генерации англоязычного текста и запуска Llama 2 при меньших требованиях к памяти. В карточке приведены результаты оценки на WikiText-2 и нескольких наборах для zero-shot проверки общих знаний и рассуждений. Контекст модели — 4096 токенов. Лицензия — Llama 2; применяются её условия использования.

Сценарии применения

локальный запуск генерации текста с меньшим объёмом памяти
продолжение англоязычного текста
zero-shot ответы на вопросы общего характера
zero-shot решение задач на рассуждение и здравый смысл

Ограничения

Квантование до 2 бит может снижать качество по сравнению с исходной моделью; приведённые показатели относятся к указанным в карточке тестам и настройкам. Для запуска требуется совместимая реализация CUDA-ядра, описанная в карточке.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Llama-2-7b — KronQ W2A16 g128 (packed int2)

Paper: arXiv:2607.07964 · Code: GitHub

Llama-2-7b quantized to 2-bit weights / 16-bit activations, group size 128, with KronQ (Kronecker-factored Hessian quantization). Packed int2 (~2.2 GB); a fused dequant + bidirectional-incoherence (BiIP) CUDA kernel with per-group scales unpacks on the fly.

Results (WikiText-2, seqlen 2048)

Perplexity: 7.601

Zero-shot accuracy:

PIQA	ARC-E	ARC-C	HellaSwag	WinoGrande	BoolQ	OBQA	Average
70.57	57.66	32.85	56.45	62.12	65.41	37.40	54.64

(lm-evaluation-harness 0-shot; acc_norm for PIQA/HellaSwag/ARC, acc for WinoGrande/BoolQ.)

Usage

python eval_pretrained.py meta-llama/Llama-2-7b-hf donghyunli/Llama-2-7b-KronQ-W2A16-g128 --ppl --zs

Recipe

Group-128 asymmetric W2, weight-only (a_bits=16), --alpha 0.25, --act_order, BiIP, raw H_G. 128 WikiText-2 calibration sequences.

License

Derivative of Llama-2-7b — llama2 license.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 97d655b