safetensors: формат, квантизация, runtime и память принадлежат одному artifact
APAR-7B — дообученная Llama-модель для ускоренной параллельной авторегрессионной генерации текста при обслуживании LLM.
Подходит для: ускорение генерации текста в сервисе LLM · снижение задержки ответов языковой модели при высокой нагрузке · увеличение пропускной способности сервера генерации
Производная модели amd/PARD-Llama-3.2-1B. Черновая модель PARD на базе Llama 3.2 с 1,2 млрд параметров для ускорения генерации текста методом спекулятивного декодирования.
Подходит для: ускорение генерации ответов чат-моделью · ускорение инференса Llama в vLLM · ускорение авторегрессионной генерации в Transformers+
safetensors: формат, квантизация, runtime и память принадлежат одному artifact