Характеристики

Лицензия: Gemma
Базовая модель: gemma-3-27b-it
Библиотека: transformers
Опубликована: 17 мар 2025

Ссылки

gemma-3-27b-it-abliterated-GGUF

Изображение и текст → текст4 профессии

Gemma 3 27B IT Abliterated — экспериментальная модификация модели google/gemma-3-27b-it, созданная mlabonne с применением техники abliteration.

7 680скачиваний за 30 дней252лайкавеса обновлены1 апр 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и обработки изображений с текстом в сценариях, поддерживаемых исходной Gemma 3 27B IT; карточка указывает pipeline image-text-to-text и формат GGUF. Точные сведения о поддерживаемых языках и размере контекста в README не приведены.

Модель была адаптирована для снижения частоты отказов от ответов за счёт удаления или ослабления направления отказа в скрытых состояниях каждого слоя. По заявлению автора, это обеспечивает уровень принятия запросов выше 90% при сохранении связности ответов. Рекомендуемые параметры генерации: temperature=1.0, top_k=64 и top_p=0.95.

Основное ограничение — экспериментальный характер модификации: качество и сохранение исходных возможностей не гарантируются. Модель распространяется под лицензией Gemma; для использования необходимо учитывать условия этой лицензии.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

💎 Gemma 3 27B IT Abliterated

image/png

This is an uncensored version of google/gemma-3-27b-it created with a new abliteration technique. See this article to know more about abliteration.

I was playing with model weights and noticed that Gemma 3 was much more resilient to abliteration than other models like Qwen 2.5. I experimented with a few recipes to remove refusals while preserving most of the model capabilities.

Note that this is fairly experimental, so it might not turn out as well as expected.

I recommend using these generation parameters: temperature=1.0, top_k=64, top_p=0.95.

✂️ Layerwise abliteration

image/png

In the original technique, a refusal direction is computed by comparing the residual streams between target (harmful) and baseline (harmless) samples.

Here, the model was abliterated by computing a refusal direction based on hidden states (inspired by Sumandora's repo) for each layer, independently. This is combined with a refusal weight of 1.5 to upscale the importance of this refusal direction in each layer.

This created a very high acceptance rate (>90%) and still produced coherent outputs.

Thanks to @bartowski for the mmproj file!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: 812c48a