mlx-community/GLM-5.1-MXFP4-Q8 — MLX-квантизированная версия текстовой генеративной модели GLM-5.1, разработанной Z.ai (zai-org) и опубликованной в формате MLX сообществом mlx-community.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Базовая модель предназначена прежде всего для агентной разработки программного обеспечения, генерации и анализа кода, длительных рассуждений, работы с терминалом и использования инструментов. Она поддерживает текстовый ввод и вывод; сведения о поддержке изображений или аудио для этой версии не указаны.
По опубликованным конфигурациям GLM-5.1 относится к архитектуре glm_moe_dsa и использует decoder-only causal language model с Mixture-of-Experts: 78 слоёв, 256 маршрутизируемых экспертов и 8 активных экспертов на токен. Размер модели составляет примерно 744 млрд параметров, максимальная позиционная длина указана как 202 752 токена. Версия MXFP4-Q8 предназначена для запуска через MLX и использует 4-битное MXFP4-квантизирование с отдельными компонентами в 8-битном представлении; это существенно уменьшает объём хранения по сравнению с полной версией, но модель всё равно требует очень значительных аппаратных ресурсов.
Сильные стороны модели — ориентация на сложные программные и агентные задачи, большой контекст и возможность локального запуска в MLX-совместимой среде. Ограничения включают крайне большой размер, высокие требования к памяти и потенциально низкую производительность на неподходящей или распределённой конфигурации оборудования; официальная карточка именно этой производной версии практически не содержит описания и результатов оценки. Для базовой GLM-5.1 указана лицензия MIT, но для репозитория mlx-community/GLM-5.1-MXFP4-Q8 отдельные лицензионные условия не указаны, поэтому их следует проверить перед коммерческим использованием.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/GLM-5.1-MXFP4-Q8")
prompt = "hello"
if tokenizer.chat_template is not None:
messages = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(
messages, add_generation_prompt=True, return_dict=False,
)
response = generate(model, tokenizer, prompt=prompt, verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · mlx
MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.