4-битный dSpark/DFlash-драфтер в формате MLX, который ускоряет генерацию Bonsai-27B методом speculative decoding при совместном использовании с целевой моделью.

Подходит для: ускорение генерации текста Bonsai-27B на оборудовании Apple через Higgs · предложение блоков токенов для speculative decoding · локальная генерация диалоговых ответов с целевой моделью Bonsai-27B