Qwen3.8-27B-Uncensored-FIT-GGUF

Файлы подготовлены с использованием FIT-GGUF — открытого детерминированного инструмента поверх пресетов квантизации llama.cpp, разработанного Scorp1o117. Модель предназначена для генерации текста и локального запуска в совместимых инструментах, включая llama.cpp.

Модель имеет размер 27B параметров, относится к текстовым моделям и заявлена для английского и китайского языков. Доступны варианты с непрерывно подобранным размером примерно от 7 до 13,5 GiB. Для каждого файла заявлены точное соответствие прогнозируемому размеру и проверка с использованием измерений KL-divergence и same-top; MTP head удалена. Размер контекста и дополнительные модальности в README не указаны.

Главное преимущество набора — гибкий выбор размера под доступный бюджет памяти и детерминированное распределение точности по тензорам. При этом README прямо отмечает, что универсально оптимальное распределение тензорной точности не установлено, поэтому качество разных вариантов может различаться. Лицензия — Apache-2.0.