Характеристики

Лицензия: Gemma
Базовая модель: Boulesis-26B-A4B
Библиотека: llama.cpp
Опубликована: 5 сен 2026

Ссылки

Boulesis-26B-A4B-i1-GGUF

Генерация текстаТекст → текст3 профессии

Boulesis-26B-A4B-i1-GGUF — набор GGUF-квантизаций экспериментальной модели Boulesis-26B-A4B, разработанной SubMaroon и квантизированной spiritfather.

2 268скачиваний за 30 дней11лайковвеса обновлены16 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель основана на Google Gemma-4-26B-A4B-it и объединяет изменения, связанные с маршрутизацией внимания, стилем и narrative roleplay. Она предназначена прежде всего для творческого письма, ролевого общения и генерации художественной прозы, а не для оценки общего интеллекта.

Модель работает через llama.cpp и поддерживает текстовую генерацию. Доступны варианты IQ4_XS, Q4_K_M, Q5_K_M и Q6_K размером примерно от 14,3 до 23,2 ГБ; для быстрого запуска автор рекомендует Q4_K_M. Квантизации используют importance matrix, распределяющую точность с учётом чувствительности модели, что может давать преимущество перед обычными статическими квантизациями аналогичного размера. В README указана поддержка контекста до 32768 токенов при рекомендуемой конфигурации, а также режим рассуждений, который можно включать и отключать.

К сильным сторонам относятся специализация на ролевых сценариях и художественном стиле, а также несколько вариантов компромисса между размером и качеством. Ограничения включают экспериментальный характер исходного merge, отсутствие подтверждений универсальной производительности и необходимость использовать актуальную версию llama.cpp с корректными параметрами шаблона чата. Для многотурового режима рассуждений требуется специальная настройка, иначе модель может повторно читать собственные мысли и генерировать только рассуждения. Лицензия наследуется от базовой модели и указана как Gemma Terms of Use.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Boulesis-26B-A4B — GGUF (imatrix (i1) quants)

[!Note] All credit for the model goes to SubMaroon, who produced Boulesis-26B-A4B — an experimental Gemma-4-26B-A4B RP merge that splices attention circuits (QK routing from Pantheon-Reasoning-1.1, a transplanted style head from StyleTune-V2, a narrative RP LoRA) onto the coder3101 heretic base. These are quantizations only.

[!Tip] Benchmarked on CaliperBench — a creative-writing benchmark scoring prose craft, roleplay and willingness rather than general intelligence. See this model's scores: caliperbench.com

[!Important] These GGUFs embed the fixed Gemma-4 chat template. The author's shipped template omits the thought-channel prime on the thinking path, so thinking mode returns empty content on stock llama.cpp; the embedded one is corrected. Serve with --jinja and pass --no-reasoning-preserve for multi-turn thinking, or the model re-reads its own earlier thoughts and answers with reasoning only.

imatrix (importance matrix) computed over bartowski calibration_datav3 on this model's own bf16. Weighted quants spend their bits where the calibration text says the model is sensitive; they are usually preferable to a static quant of the same size below Q5.

Provided quants

Quant	Size	Notes
IQ4_XS	14.3 GB
Q4_K_M	17.2 GB	fast, recommended
Q5_K_M	19.6 GB
Q6_K	23.2 GB	practically like static Q6_K

Loading (any current llama.cpp)

llama-server -m Boulesis-26B-A4B.i1-Q4_K_M.gguf -ngl 99 -fa on -c 32768 -ctk q8_0 -ctv q8_0 --jinja --no-reasoning-preserve

Thinking: on by default. Turn off per request with chat_template_kwargs: {"enable_thinking": false} or serve with --reasoning off --reasoning-budget 0. With thinking on, cap it per request with thinking_budget_tokens (1536 is plenty for roleplay).

Quant recipe

bf16 GGUF from the safetensors via convert_hf_to_gguf.py (llama.cpp b10819); the author's repo ships a placeholder tokenizer.json, so the base google/gemma-4-26B-A4B-it tokenizer (shared by the whole 26B-A4B family) was used for the conversion. Plain llama-quantize from that bf16 — no requantizing from a lower quant. The i1 set uses an imatrix computed on the same bf16 over bartowski calibration_datav3.

License

Gemma Terms of Use, inherited from the base model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 3308ba3