/ Модель

Характеристики

Контекст
1 048 576 токенов
Параметры
30,4 млрд
Размер весов
434 ГБ
Лицензия
Своя лицензия
Архитектура
glm_moe_dsa · dense
Базовая модель
GLM-5.3-BF16
Библиотека
mlx
Опубликована
29 авг 2026

GLM-5.3-5bit-UVMAX

Генерация текстаТекст → текст8 профессий

GLM-5.3-5bit-UVMAX — это квантованная версия языковой модели GLM-5.3-BF16, разработанной zai-org и преобразованная с помощью mlx-lm.

228скачиваний за 30 дней1лайквеса обновлены30 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и запуска в экосистеме MLX, включая локальное развертывание на совместимом оборудовании. В README указаны английский и китайский языки, а также поддержка задач text-generation.

Модель использует MoE-архитектуру с 743 млрд параметров и смешанную UVMAX-квантизацию со средним размером 4,67 бита на вес. Экспертные FFN-слои квантуются преимущественно в 4 и 5 бит, attention, DSA indexer и dense MLP — в 8 бит, а маршрутизаторы и нормализационные слои сохраняются в bf16. Общий размер модели составляет около 404 GiB, поэтому она помещается на одной машине с 512 ГБ памяти. Контекстное окно и точный состав поддерживаемых модальностей в README не указаны; по имеющимся данным, модель работает с текстом.

По сравнению с исходной версией bf16 UVMAX демонстрирует близкие показатели на тестовых корпусах: среднее отношение perplexity составляет 1,02×, а согласие top-1 предсказаний — 94,4%. Это делает квантизацию компромиссом между качеством и снижением требований к памяти. Ограничением остаются очень высокие аппаратные требования и необходимость свежей версии mlx-lm с поддержкой GLM-5.3 и glm_moe_dsa. Модель распространяется по лицензии glm-5.3; конкретные условия следует уточнять в указанном файле LICENSE.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

kernelpool/GLM-5.3-5bit-UVMAX

Mixed-precision (UVMAX) quantization of zai-org/GLM-5.3-BF16, converted with mlx-lm from the bf16 release.

What is UVMAX?

UVMAX assigns bit widths per tensor class instead of quantizing uniformly.

tensor classprecisionparameterssizeshare
Expert FFN gate/up4-bit, group 128483B239.1 GiB59.1%
Expert FFN down5-bit, group 128242B147.7 GiB36.5%
Attention + DSA indexer + dense MLP8-bit, group 6413.7B13.6 GiB3.4%
Shared experts8-bit, group 642.8B2.8 GiB0.7%
Embeddings, LM head4-bit, group 641.9B1.0 GiB0.2%
Routersbf160.1B0.2 GiB<0.1%
Normsbf16——<0.1%
total4.67 bits/weight743B404 GiB

Quality

Teacher-forced against the bf16 release on identical tokens, 48 windows of 1025 tokens. KLD is KL(bf16 ‖ quant) over the full output distribution and is corpus-specific.

UVMAX (4.67 bits/weight)

corpusppl bf16ppl UVMAXratiomean KLDmedian KLDtop-1 agreement
Linux kernel C1.4341.4591.02×0.0400.000296.8%
XNU kernel C2.4352.4721.02×0.0560.002793.4%
JavaScriptCore C++1.7571.7911.02×0.0550.000795.1%
English prose2.6872.7501.02×0.0630.007692.4%
all2.0152.0531.02×0.0530.001294.4%

Uniform 4-bit (4.50 bits/weight)

corpusppl bf16ppl 4-bitratiomean KLDmedian KLDtop-1 agreement
Linux kernel C1.4341.4921.04×0.0760.000495.3%
XNU kernel C2.4352.5221.04×0.1090.006391.0%
JavaScriptCore C++1.7571.8411.05×0.1020.001493.4%
English prose2.6872.9091.08×0.1430.020988.6%
all2.0152.1191.05×0.1070.002892.1%

Use with mlx

Requires a recent mlx-lm with GLM-5.3 (glm_moe_dsa) support.

The model fits on a single 512 GB machine:

mlx_lm.server --model kernelpool/GLM-5.3-5bit-UVMAX

Sampling follows the base model: temperature 1.0, top-p 0.95.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры
GlmMoeDsaForCausalLM
Ревизия весов
a30a53a

0 моделей