Вспомогательная черновая модель DFlash для ускорения генерации LLaMA-3.1-8B-Instruct посредством спекулятивного декодирования с TEV.
Подходит для: ускорение генерации текста с LLaMA-3.1-8B-Instruct · спекулятивное декодирование с черновым деревом токенов · сравнение TEV с авторегрессивным и блочно-параллельным декодированием