/ Модель

Характеристики

Лицензия
Gemma
Опубликована
8 апр 2026

gemma-4-E4B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking-GGUF

Генерация текстаТекст → текст4 профессии

Это GGUF-квантизация модели Gemma 4 E4B Instruct — The DECKARD HERETIC UNCENSORED Thinking, разработанной на базе модели DavidAU/gemma-4-E4B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking.

1 632скачиваний за 30 дней10лайковвеса обновлены8 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исходная модель представляет собой существенно дообученную версию Google Gemma 4 E4B с эффективным размером около 4 млрд параметров. Репозиторий предназначен для локального запуска через llama.cpp и совместимые интерфейсы на CPU, Apple Silicon и GPU с ограниченным объёмом видеопамяти.

Модель ориентирована на генерацию текста, сложное творческое письмо, ролевые сценарии, глубокую художественную прозу и задачи, где полезны расширенные рассуждения перед формированием ответа. Указана поддержка английского языка. Архитектура Gemma 4 допускает контекст до 256 тысяч токенов, однако README не уточняет, гарантируется ли этот предел именно для данной сборки. Доступны варианты квантизации от Q3_K_M до Q8_0: более низкие уровни уменьшают требования к памяти и повышают доступность на слабом оборудовании, но могут заметно снижать качество; Q4_K_M обозначен как оптимальный компромисс, а Q6_K и Q8_0 обеспечивают более высокую точность при больших затратах памяти.

К сильным сторонам относятся эффективный локальный запуск, поддержка длинного контекста, ориентация на творческие и ролевые сценарии, а также заявленные возможности рассуждения. Ограничениями являются зависимость качества и скорости от выбранной квантизации и оборудования, а также возможное ухудшение perplexity у Q3_K_M. Модель распространяется по лицензии Gemma; дополнительные условия использования в README не приведены.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gemma 4 E4B Instruct - The DECKARD HERETIC UNCENSORED Thinking (GGUF)

This repository contains GGUF format quantizations for DavidAU's Gemma-4-E4B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking.

These files allow for highly efficient local inference on CPUs and Apple Silicon, as well as VRAM-constrained GPUs, utilizing llama.cpp and compatible frontends.

🧠 About the Base Model

The base model is a specialized, heavily fine-tuned version of Google's Gemma 4 E4B (Effective 4B parameters).

  • HERETIC / DECKARD Fine-Tune: This model has undergone the "HERETIC" abliteration and fine-tuning process by DavidAU. It is completely uncensored, unrestricted, and heavily calibrated for complex creative writing, roleplay, and deep fiction generation.
  • Reasoning & Thinking: It includes augmented reasoning/thinking capabilities, allowing the model to internally chain logic before outputting text, making its responses deeper and more contextually accurate.
  • Context Window: The Gemma 4 architecture supports extended context windows (up to 256k in base), making it highly capable for long-form conversations.

📦 Available Quantization Formats

This repository provides multiple levels of quantization to help you balance VRAM/RAM usage, generation speed, and model fidelity.

File NameBit ResolutionRecommended Use
Q3_K_M3-bitUltra-low RAM usage. Noticeable perplexity degradation but runs on very constrained hardware.
Q4_K_M4-bitRecommended. The sweet spot for local LLMs. Great balance of speed, low memory footprint, and quality.
Q5_K_M5-bitHigher precision. Use this if you have the memory to spare and want slightly better reasoning.
Q6_K6-bitVery high fidelity. Close to unquantized performance with a larger memory footprint.
Q8_08-bitExtremely close to FP16 baseline. Best for users who want maximum precision and have ample RAM/VRAM.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
d7dc46a

0 моделей