Компактная дообученная модель семейства LLaMA для генерации текста и ускорения вывода крупных LLaMA- и Vicuna-моделей в режиме спекулятивного декодирования.
Подходит для: черновая генерация токенов для спекулятивного декодирования · ускорение вывода моделей LLaMA-13B и LLaMA-33B · ускорение вывода моделей Vicuna-13B и Vicuna-33B