Характеристики

Лицензия: MIT
Архитектура: glm5_next · dense
Базовая модель: GLM-5.3-Flash
Библиотека: mlx
Опубликована: 26 авг 2026

Ссылки

Hugging Face

GLM-5.3-Flash-Alis-MLX-8bit

avlp12

Генерация текстаТекст → текст10 профессий

GLM-5.3-Flash-Alis-MLX-8bit — 8-битная MLX-квантизированная версия модели GLM-5.3-Flash, разработанной zai-org.

774скачиваний за 30 дней4лайкавеса обновлены31 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и запуска на устройствах Apple Silicon через библиотеку mlx-vlm с поддержкой архитектуры glm5_next и Mixture-of-Experts. Она создана потоковой деквантизацией официального FP8-релиза; размер исходной модели составляет 320B-A18B, а объём файловой системы модели — около 334,1 ГБ.

В сборке используются 8-битное affine-кодирование экспертов, attention, общих и плотных MLP-слоёв, embeddings и выходной головы. Маршрутизатор MoE, параметры коррекции, отдельные массивы mHC и параметры затухания KDA сохранены в FP32, vision tower — в BF16. MTP-слой 45 удалён и вынесен в отдельную модель-драфтер, поэтому основное назначение этой версии — высокоточный inference и роль эталонной модели для оценки менее точных 4-битных сборок. Модель поддерживает текстовую генерацию; мультимодальные возможности через vision tower указаны, но подробности о поддерживаемых форматах изображений и языках не приведены.

Сильная сторона модели — максимальная среди семейства точность сохранения исходного поведения и отсутствие квантизации маршрутизатора, что делает её reference- или teacher-классом. На M3 Ultra с 512 ГБ памяти ожидается около 24–25 токенов в секунду при декодировании с p512; специальные параметры окружения могут повысить скорость примерно на 12%. Ограничения включают очень большой объём хранения, требования к совместимой версии mlx-vlm и необходимость Apple Silicon. Лицензия — MIT.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GLM-5.3-Flash-Alis-MLX-8bit

MLX (mlx-vlm tree) 8-bit build of GLM-5.3-Flash (320B-A18B, glm5_next), converted by streaming dequant of the official FP8 release (84c6a6aa).

This replaces the withdrawn earlier build (which quantized the MoE router). This build keeps the router (mlp.gate) and correction bias unquantized/fp32, the mHC arrays and KDA A_log/dt_bias in fp32 as stored, and the vision tower in bf16; the MTP layer (45) is dropped (standalone drafter: avlp12/GLM-5.3-Flash-Alis-MTP-Drafter). Conversion receipts (state.json, finalize_receipt.json) are in-repo. 334.1 GB on disk.

Recipe

8-bit g64 affine on experts, attention, dense/shared MLPs, embeddings and head; router / mHC / KDA decay params / norms / convs as stored; vision bf16. Per-module map in config.json.

Role in the family

This is the highest-fidelity tier of the family and the teacher/reference class used to score the 4-bit builds (held-out paired KL): 4-bit QUASAR avlp12/GLM-5.3-Flash-Alis-MLX-4bit measures −8.5% KL vs its 4-bit RTN baseline against an 8-bit teacher of this layout family (6-bit measures ≈0.0226 mean KL on the same panel). Expect ≈24-25 tok/s decode @ p512 on an M3 Ultra 512GB (8-bit class), vs ≈29-33 tok/s for the 4-bit build; add MLX_MAX_MB_PER_BUFFER=2048 MLX_MAX_OPS_PER_BUFFER=100000 to the serving environment for ≈+12% decode on M3 Ultra. The fused-KDA Metal kernel and long-context gathered-prefill findings documented on the 4bit card (+20% decode, +50% prefill at 131k, both bit-identical) are architecture-level and apply to this build too; measured on the 4-bit tree.

Runtime

Requires mlx-vlm with glm5_next (merged 2026-08-26); text-stack correctness fixes live in the PR #2044/#2074 branches — recommended until merged.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры: Glm5NextForConditionalGeneration
Ревизия весов: 8209cfd