Это текстовая causal language model с архитектурой GlmMoeDsaForCausalLM, предназначенная для генерации текста и инференса, в том числе с использованием vLLM. Заявленные языки — английский и китайский.

Модель использует квантование весов MoE-линейных слоёв, включая экспертные и shared expert-компоненты, до 4-битного формата MXFP4, а активаций — до MXFP8 с динамическим масштабированием. Среднее число бит на параметр снижено примерно до 4,5: размер модели на диске уменьшается приблизительно с 1,47 ТБ в формате BF16 до 424 ГБ, а потребность в дисковой и GPU-памяти — примерно на 72%. Остальные компоненты трансформерных блоков не квантизуются.

Ключевое преимущество модели — существенное сокращение требований к памяти при сохранении возможности инференса крупной MoE-модели. Чекпойнт подготовлен в формате compressed-tensors с помощью LLM Compressor и рассчитан на развёртывание в vLLM; в README приведена конфигурация с tensor parallelism на 8 устройств, FP8 KV-cache, speculative decoding и поддержкой вызова инструментов. При этом поддержка данного квантизированного чекпойнта в vLLM обозначена как экспериментальная, а квантование выполнено методом RTN без калибровочных данных, что может ограничивать качество по сравнению с исходной моделью.

Лицензия в предоставленных данных не указана. Контекстное окно, точное число параметров, мультимодальные возможности и результаты оценки качества также не раскрыты.