Она предназначена для диалоговых сценариев и локального запуска средствами, совместимыми с форматом GGUF, включая llama.cpp и другие поддерживающие его приложения.

В карточке указаны около 3 млрд параметров, архитектура llama и формат GGUF. Доступны варианты квантования от 2 до 8 бит с размером файлов примерно от 1,33 до 3,23 ГБ. Сведения о поддерживаемых языках, размере контекста, точной базе обучения, лицензии и мультимодальных возможностях не указаны.

Автор предупреждает, что текущая GGUF-версия выводит текст на латыни, предположительно из-за ошибочного квантования; это является существенным ограничением качества. Модель не размещена у inference-провайдеров, а условия лицензии в доступной карточке не приведены.