Данная версия подготовлена в формате Q8_0 и предназначена для генерации текста с использованием llama.cpp и совместимых инструментов. В README заявлены поддерживаемые языки English и Chinese, а также базовая модель с размером 4B параметров.

Файл модели занимает примерно 4,38 ГБ. Квантование Q8_0 снижает требования к памяти по сравнению с полной BF16-версией, сохраняя высокую точность представления весов. В качестве серверной конфигурации приведён контекст 65536 токенов, однако архитектурные особенности и точный максимальный контекст модели отдельно не указаны. Модель ориентирована на локальный текстовый inference и может использоваться в приложениях, поддерживающих GGUF и llama.cpp.

Ключевое ограничение — для поддержки Spark-X2.5 требуется совместимая реализация XHToken/llama.cpp, поэтому стандартная версия llama.cpp может быть несовместима. Лицензия модели — Apache License 2.0, как и у базовой модели.