Модель основана на архитектуре Mistral 7B, но уменьшена примерно до 248 миллионов параметров. Она обучалась на 7 488 000 примерах из наборов данных openwebtext и minipile, предназначена для генерации текста и последующей тонкой настройки под прикладные задачи, а не для непосредственного использования в готовом виде. Указанный язык — английский, предполагаемая длина контекста составляет около 32 768 токенов.

Репозиторий содержит варианты с точностью от fp16 до q2_k, q3_k_m, q4_k_m, q5_k_m, q6_k и q8_0; их размер составляет примерно от 116 до 498 МБ. Квантизация позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и сохранением качества. Среди указанных результатов — средняя perplexity 6,3 на InstructMix и устаревшая оценка Open LLM Leaderboard со средним результатом 24,18; эти показатели следует воспринимать как ориентиры, поскольку модель небольшая, а результаты могут быть неактуальными. Ограничения включают слабые результаты на отдельных задачах, в частности 0,0 на GSM8K, а также отсутствие заявленной готовности к прямому применению. Модель распространяется по лицензии Apache-2.0.