Компактная модель семейства LLaMA для ускорения генерации текста с помощью спекулятивного декодирования EAGLE.
Подходит для: ускорение инференса языковой модели в serving-системах · ускорение генерации ответов чат-моделью · снижение задержки авторегрессионной генерации текста