Характеристики

Контекст: 8 192 токена
Параметры: 45,1 млрд
Размер весов: 239 ГБ
Лицензия: Apache 2.0
Архитектура: grok-1 · MoE
Базовая модель: grok-1
Опубликована: 6 янв 2025

Ссылки

grok-1-W4A8KV8

Генерация текстаТекст → текст8 профессий

Grok-1-W4A8KV8 — квантизированная версия модели lmzheng/grok-1, созданная с помощью инструментария Quark компанией Advanced Micro Devices (AMD).

6 027скачиваний за 30 дней2лайкавеса обновлены11 авг 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для эффективного запуска Grok-1 с использованием SGLang и формата экспорта Quark.

В модели квантизированы все линейные слои, кроме lm_head и MoE-компонентов gate. Веса представлены в FP8 с симметричным квантованием на тензор, а линейные слои MoE дополнительно используют INT4 с симметричным поканальным квантованием. Активации и KV-кэш хранятся в FP8 с симметричным квантованием на тензор. Данные о размере модели, архитектуре, поддерживаемых языках, модальностях и длине контекста в README не указаны.

По результатам GSM8K модель получила 0,817 против 0,821 у исходной grok-1, что указывает на небольшое снижение качества при существенной оптимизации представления модели. Основное преимущество — возможность более эффективного развертывания FP8-квантизированной модели через SGLang. Для INT4 используется специальная упаковка: восемь значений помещаются в один int32. Лицензия — Apache-2.0; модификации защищены авторским правом Advanced Micro Devices, Inc. за 2024 год.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Grok-1-W4A8KV8

Introduction

This model was created by applying Quark with calibration samples from Pile dataset.

Quantization Stragegy

Quantized Layers: All linear layers excluding "lm_head", "*.gate"
Weight: FP8 symmetric per-tensor, additionally, INT4 symmetric per-channel for MoE linear
Activation: FP8 symmetric per-tensor
KV Cache: FP8 symmetric per-tensor

INT4 Packing

Every eight int4 values are packed into a single int32 integeter following the sequence defined by order_map = [0, 2, 4, 6, 1, 3, 5, 7].

Quick Start

Follow Quantizing Sharded Grok-1 with Quark for SGLang to produced the quantized model using Quark.

Deployment

Quark has its own export format and allows FP8 quantized models to be efficiently deployed using the SGLang backend.

Evaluation

Evaluation scores

License

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Модели нужен код из репозитория; запуск откроется после проверки совместимости.

Класс архитектуры: Grok1ModelForCausalLM
Ревизия весов: 549ab42