Репозиторий подготовлен с использованием llama.cpp и предназначен для локального запуска модели в формате GGUF.

Модель относится к семейству Llama и ориентирована на генерацию текста и работу с программным кодом, включая сценарии инструкционного взаимодействия с разработчиком. В README указано, что исходная модель имеет размер 7 миллиардов параметров. Поддерживаются варианты квантизации Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0, позволяющие выбирать компромисс между качеством, скоростью и требованиями к памяти.

Ключевое преимущество модели — возможность более экономичного локального запуска благодаря квантизации и совместимости с llama.cpp. README не содержит сведений о поддерживаемых языках, размере контекста, точных характеристиках отдельных вариантов квантизации, лицензии или ограничениях применения. Также в заголовке README упоминается Mistral-7B-v0.1-GGUF, однако метаданные и описание указывают на CodeLlama-7b-Instruct-hf; поэтому идентификацию модели следует основывать прежде всего на метаданных репозитория.