Черновая голова EAGLE3 для Qwen2.5-7B-Instruct предлагает токены для спекулятивного декодирования и ускоряет генерацию текста.
Подходит для: ускорение генерации ответов Qwen2.5-7B-Instruct · ускорение инференса чат-модели в SGLang на GPU · спекулятивное декодирование на TPU через sglang-jax