Текстовая Bonsai 2 27B с головой MTP для ускорения генерации посредством спекулятивного декодирования в пропатченном llama.cpp.
Подходит для: ускоренная генерация текста на GPU через спекулятивное декодирование · диалоговая генерация с Bonsai 2 27B · снижение задержки вывода токенов в llama.cpp