/ Модель

Характеристики

Контекст
1 048 576 токенов
Параметры
30,4 млрд
Архитектура
glm_moe_dsa · dense
Базовая модель
GLM-5.2
Библиотека
mlx
Опубликована
18 июн 2026

GLM-5.2-MLX-Q4i

Генерация текстаТекст → текст5 профессий

inferencerlabs/GLM-5.2-MLX-Q4i — квантизированная версия модели GLM-5.2, разработанной организацией Z.ai (zai-org) и адаптированной для выполнения через MLX.

544скачиваний за 30 дней9лайковвеса обновлены18 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

В карточке модель представлена пользователем или организацией inferencerlabs; точное авторство квантизации в README не уточняется. Модель предназначена для генерации текста и локального инференса на устройствах Apple с использованием MLX.

Указан формат квантизации Q4.8-INF, основанный на методе INF и настроенный для высокой общей точности при ограничении памяти 512 GiB. Тестирование проводилось на системе с M3 Ultra и 512 GiB памяти: заявлена скорость около 15,8 токена в секунду при генерации примерно 1000 токенов, а потребление памяти составило около 417 GiB. README не содержит достоверных сведений о числе параметров, архитектуре, размере контекста, поддерживаемых языках и мультимодальности.

К сильным сторонам относятся возможность локального запуска в экосистеме MLX и заявленная высокая точность квантизации. Приведённые метрики perplexity, точности токенов и missed divergence относятся к конвертации GLM 5.1, поэтому их нельзя напрямую считать результатами для GLM 5.2. Ограничениями являются очень высокие требования к оперативной памяти и отсутствие подробных данных о возможностях модели. Лицензия в README не указана.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GLM 5.2

See GLM 5.2 in action: demonstration videos

Tested with an M3 Ultra 512 GiB using Inferencer app v2.0.4

  • Text Inference: ~15.8 tokens/s @ 1000 tokens ~417 GiB

Screenshot 1 Screenshot 2 Screenshot 3

Due to system memory and time constraints, the figures shown below are from the conversion of GLM 5.1.

Quantized with a modified version of MLX.
For more details see our demonstration videos or visit zai-org/GLM-5.1.

Disclaimer

We are not the creator, originator, or owner of any model listed. Each model is created and provided by third parties. Models may not always be accurate or contextually appropriate. You are responsible for verifying the information before making important decisions. We are not liable for any damages, losses, or issues arising from its use, including data loss or inaccuracies in AI-generated content.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры
GlmMoeDsaForCausalLM
Ревизия весов
d6ea136

0 моделей