Модель предназначена для генерации текста и диалоговых сценариев, включая conversational-форматы ShareGPT, а также для дообучения на собственных наборах данных. Она интегрируется с библиотекой Transformers и может экспортироваться в форматы GGUF и vLLM.

Из известных характеристик: модель относится к семейству Mistral, содержит около 7 миллиардов параметров, работает с текстом и заявлена для английского языка. Представление bnb-4bit снижает требования к памяти по сравнению с полноразмерной моделью, что делает вариант подходящим для локального запуска и эффективного fine-tuning на ограниченных ресурсах. README также указывает на ускорение дообучения Mistral в Unsloth примерно в 2,2 раза и сокращение использования памяти до 62%, однако эти показатели относятся к процессу дообучения в заявленной конфигурации, а не являются гарантией качества или скорости инференса.

Модель может использоваться для чат-ботов, генерации и продолжения текста, экспериментов с instruction tuning и DPO. Ограничения включают зависимость качества от формата промптов и данных дообучения, возможные потери качества из-за 4-битной квантизации, а также отсутствие в README сведений о размере контекстного окна, точной архитектуре, мультимодальности, результатах бенчмарков и требованиях к инференсу. Лицензия — Apache-2.0.