Формат GGUF подготовлен Second State Inc. Модель предназначена для локального запуска и инференса через совместимые инструменты, включая LlamaEdge; в README указано, что поддержка LlamaEdge находится в разработке.

Модель ориентирована на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Размер исходной модели, архитектура, точные сценарии применения и другие характеристики в README не указаны. Контекстное окно составляет 8192 токена.

Доступны варианты квантизации от Q2_K до Q8_0 размером от 13,8 до 37,2 ГБ. Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества. Более агрессивная квантизация уменьшает требования к памяти, но может существенно ухудшить качество ответов. Модель квантизирована с использованием llama.cpp b2450.

Лицензия модели — CC BY-NC 4.0, поэтому её использование ограничено условиями этой лицензии и некоммерческим характером. Возможности, ограничения по производительности и требования к аппаратному обеспечению в README подробно не описаны.