Квантизация выполнена напрямую с помощью bitsandbytes, что снижает требования к памяти по сравнению с полноразмерной моделью.

Модель ориентирована на запуск и дообучение Llama 2 на ограниченных вычислительных ресурсах, включая видеокарты уровня Tesla T4. Она может использоваться для генерации и продолжения англоязычного текста, а также для прикладного fine-tuning на собственных наборах данных. README упоминает поддержку conversational и text completion сценариев, включая шаблоны ShareGPT ChatML и Vicuna.

Ключевые характеристики: архитектура семейства Llama 2, размер 7B, текстовая модальность, основной заявленный язык — английский, формат 4-bit bitsandbytes. Точные параметры контекстного окна и дополнительные языковые возможности в README не указаны. Сильная сторона модели — уменьшенное потребление памяти и возможность более быстрого и доступного дообучения; ограничениями являются потери, связанные с квантизацией, зависимость от совместимого программного окружения и отсутствие подробных данных о качестве, контексте и поведении модели. Указана лицензия Apache-2.0.