Характеристики

Лицензия: Gemma
Базовая модель: gemma-3-4b-it
Библиотека: transformers
Опубликована: 17 мар 2025

Ссылки

gemma-3-4b-it-abliterated-GGUF

Изображение и текст → текст3 профессии

Gemma 3 4B IT Abliterated — экспериментальная модификация модели google/gemma-3-4b-it, созданная пользователем mlabonne.

1 825скачиваний за 30 дней35лайковвеса обновлены17 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и, согласно карточке, относится к классу image-text-to-text, то есть может использоваться в сценариях, сочетающих обработку изображений и текста. Точные сведения о поддерживаемых языках и размере контекста в README не указаны.

Главная особенность модели — применение метода layerwise abliteration, направленного на удаление или ослабление отказов в ответах. Метод применялся независимо к скрытым состояниям большинства слоёв, с использованием весов отказа от 0,05 до пикового значения 0,55. По данным автора, это обеспечило уровень принятия запросов выше 90% при сохранении связности ответов. Для генерации рекомендуются параметры temperature=1.0, top_k=64 и top_p=0.95.

Модель сохраняет основные возможности базовой Gemma 3 4B IT, но её поведение и качество являются экспериментальными. Автор отмечает периодическое появление искажённого или неграмотного текста, поэтому результаты требуют дополнительной проверки. В README также заявлена поддержка формата GGUF, однако подробности о конкретных вариантах квантования не приведены. Указанная лицензия — Gemma.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

💎 Gemma 3 4B IT Abliterated

image/png

This is an uncensored version of google/gemma-3-4b-it created with a new abliteration technique. See this article to know more about abliteration.

I was playing with model weights and noticed that Gemma 3 was much more resilient to abliteration than other models like Qwen 2.5. I experimented with a few recipes to remove refusals while preserving most of the model capabilities.

Note that this is fairly experimental, so it might not turn out as well as expected. I saw some garbled text from time to time (e.g., "It' my" instead of "It's my").

I recommend using these generation parameters: temperature=1.0, top_k=64, top_p=0.95.

✂️ Layerwise abliteration

image/png

In the original technique, a refusal direction is computed by comparing the residual streams between target (harmful) and baseline (harmless) samples.

Here, the model was abliterated by computing a refusal direction based on hidden states (inspired by Sumandora's repo) for most layers (layer 7 to 29), independently. This is combined with a refusal weight that follows a symmetric pattern from 0.05 to a peak of 0.55.

This created a very high acceptance rate (>90%) and still produced coherent outputs.

⚡️ Quantization

TBD.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: f2a8b16