Характеристики

Контекст: 8 192 токена
Параметры: 7,5 млрд
Лицензия: Llama 3
Архитектура: llama · dense
Базовая модель: Meta-Llama-3-8B
Опубликована: 24 июн 2026

Ссылки

Hugging Face arXiv 2607.07964

Meta-Llama-3-8B-KronQ-W4A16-g128

donghyunli

Генерация текстаТекст → текст5 профессий

Квантизованная до 4-битных весов версия Meta-Llama-3-8B для генерации английского текста с 16-битными активациями.

20скачиваний за 30 дней0лайковвеса обновлены13 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

donghyunli/Meta-Llama-3-8B-KronQ-W4A16-g128 — квантизованная версия языковой модели Meta-Llama-3-8B, представленная автором репозитория с применением KronQ, метода квантизации с факторизацией Гессиана по Кронекеру. Модель использует веса W4A16: 4-битные веса и 16-битные активации с размером группы 128; веса упакованы в формат int4, а CUDA-ядро выполняет распаковку и деквантование во время работы.

Модель предназначена для генерации текста и оценки языковых моделей. В README приведены результаты на WikiText-2 и тестах PIQA, ARC, HellaSwag, WinoGrande, BoolQ и OBQA; карточка указывает контекст 8192 токена, около 7,5 млрд параметров и поддержку английского языка. Репозиторий содержит веса safetensors; заявленная лицензия — Llama 3 Community License. В README описана оценка качества, но не приведены результаты скорости или использования памяти на конкретном оборудовании.

Сценарии применения

генерация английского текста
оценка качества языковой модели на тестах общего знания
запуск языковой модели с 4-битными весами

Ограничения

Опубликованные в карточке показатели относятся к конкретным наборам тестов и настройкам оценки; они не характеризуют все сценарии применения. Для распаковки весов на лету README описывает CUDA-ядро.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

I.11Классификация, ранжирование и сопоставление

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Meta-Llama-3-8B — KronQ W4A16 g128 (packed int4)

Paper: arXiv:2607.07964 · Code: GitHub

Meta-Llama-3-8B quantized to 4-bit weights / 16-bit activations, group size 128, with KronQ (Kronecker-factored Hessian quantization). Packed int4 (~5.5 GB); a fused dequant + bidirectional-incoherence (BiIP) CUDA kernel with per-group scales unpacks on the fly.

Results (WikiText-2, seqlen 2048)

Perplexity: 6.337

Zero-shot accuracy:

PIQA	ARC-E	ARC-C	HellaSwag	WinoGrande	BoolQ	OBQA	Average
80.36	78.87	53.24	78.37	73.32	80.92	45.80	70.13

(lm-evaluation-harness 0-shot; acc_norm for PIQA/HellaSwag/ARC, acc for WinoGrande/BoolQ.)

Usage

python eval_pretrained.py meta-llama/Meta-Llama-3-8B donghyunli/Meta-Llama-3-8B-KronQ-W4A16-g128 --ppl --zs

Recipe

Group-128 asymmetric W4, weight-only (a_bits=16), --alpha 0.25, --act_order, BiIP, raw H_G. 128 WikiText-2 calibration sequences.

License

Derivative of Meta-Llama-3-8B — llama3 license.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 76a299a