Qwen3.5-2B OneCompression 4bit MLX — текстовая версия Qwen3.5-2B, подготовленная для примера локального диалога в AyaneSDK. Чекпойнт содержит около 1,7 млрд параметров и предназначен для генерации текста и разговорного использования на устройствах с MLX.

Веса квантованы до 4 бит методом OneCompression GPTQ с распространением ошибки квантования; указан размер группы 128. Квантованы 186 линейных слоёв, а эмбеддинги токенов отдельно представлены в асимметричном 4-битном формате MLX. Исходные упакованные веса GPTQ-v1 без потерь преобразованы в построчное аффинное представление MLX. Модель текстовая: веса vision-компонента отсутствуют. Контекст — до 262 144 токенов. В карточке указаны японский и английский языки.

Модель основана на Qwen/Qwen3.5-2B и распространяется по лицензии Apache-2.0. Квантование сокращает требования к хранению и выполнению по сравнению с полной точностью, но может влиять на качество генерации. Для запуска требуется среда MLX.