Характеристики

Лицензия: Gemma
Базовая модель: gemma-3-12b-it
Библиотека: transformers
Опубликована: 17 мар 2025

Ссылки

gemma-3-12b-it-abliterated-GGUF

Изображение и текст → текст4 профессии

Gemma 3 12B IT Abliterated — экспериментальная модификация модели google/gemma-3-12b-it, созданная разработчиком mlabonne.

1 896скачиваний за 30 дней56лайковвеса обновлены18 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она предназначена для генерации ответов с существенно меньшей склонностью к отказам, в том числе в сценариях, где требуется более свободное следование запросу. Модель представлена в формате GGUF и относится к мультимодальному классу image-text-to-text, однако подробности о поддерживаемых языках и размере контекста в карточке не указаны.

В основе лежит модель Gemma 3 с примерно 12 миллиардами параметров. Для удаления отказов применена layerwise abliteration: направление отказа вычислялось по скрытым состояниям независимо для большинства слоёв, с последующим усилением соответствующего направления. По заявлению автора, это дало коэффициент принятия запросов свыше 90% при сохранении связности ответов. Рекомендуемые параметры генерации: temperature 1.0, top_k 64 и top_p 0.95.

Модель носит экспериментальный характер и может иногда генерировать искажённый или грамматически повреждённый текст. Снижение числа отказов также означает потенциально меньшую встроенную безопасность, поэтому результаты требуют дополнительной проверки. Информация о конкретной схеме квантования в формате GGUF ещё не приведена. Лицензия указана как gemma.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

💎 Gemma 3 12B IT Abliterated

image/png

This is an uncensored version of google/gemma-3-12b-it created with a new abliteration technique. See this article to know more about abliteration.

I was playing with model weights and noticed that Gemma 3 was much more resilient to abliteration than other models like Qwen 2.5. I experimented with a few recipes to remove refusals while preserving most of the model capabilities.

Note that this is fairly experimental, so it might not turn out as well as expected. I saw some garbled text from time to time (e.g., "It' my" instead of "It's my").

I recommend using these generation parameters: temperature=1.0, top_k=64, top_p=0.95.

✂️ Layerwise abliteration

image/png

In the original technique, a refusal direction is computed by comparing the residual streams between target (harmful) and baseline (harmless) samples.

Here, the model was abliterated by computing a refusal direction based on hidden states (inspired by Sumandora's repo) for most layers (layer 3 to 45), independently. This is combined with a refusal weight of 0.6 to upscale the importance of this refusal direction in each layer.

This created a very high acceptance rate (>90%) and still produced coherent outputs.

⚡️ Quantization

TBD.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: e99078f