Квантизации в формате GGUF подготовил spiritfather; модель предназначена для запуска через llama.cpp и ориентирована прежде всего на генерацию художественного текста, включая прозу и ролевые сценарии.

Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, Q5_K_S, Q5_K_M, Q6_K и Q8_0 размером примерно от 80,4 до 188,2 ГБ. Для ускорения вывода поддерживается MTP-драфт-голова для speculative decoding. В README приведён пример запуска с контекстом 32768 токенов, но архитектура, общее число параметров, поддерживаемые языки и набор модальностей явно не указаны; по назначению это текстовая модель без заявленной мультимодальности.

Сильными сторонами являются широкий выбор уровней квантизации, совместимость с llama.cpp и специализация на качестве прозы, ролевом взаимодействии и готовности следовать творческим запросам. Ограничения связаны с большими требованиями к дисковому пространству и памяти, зависимостью качества от выбранной квантизации и отсутствием в предоставленных данных подробных сведений о языках и технических характеристиках базовой модели. Лицензия указана как gemma.