/ Модель

Характеристики

Лицензия
Gemma
Базовая модель
gemma-2-27b-it-abliterated
Библиотека
transformers
Опубликована
16 сен 2024

gemma-2-27b-it-abliterated-GGUF

Генерация текстаТекст → текст8 профессий

QuantFactory/gemma-2-27b-it-abliterated-GGUF — это квантованная версия модели byroneverson/gemma-2-27b-it-abliterated, созданная командой QuantFactory с использованием llama.cpp.

1 155скачиваний за 30 дней7лайковвеса обновлены6 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и диалоговых сценариев, включая работу через инструменты и экосистему llama.cpp. В карточке указана поддержка английского языка и библиотека Transformers.

Модель относится к семейству Gemma 2, имеет размер 27B параметров и распространяется в формате GGUF. Она основана на instruct-версии Gemma 2, а также прошла процедуру abliteration: из весов удалялось направление, связанное с отказами модели, с последующей ортогонализацией файлов .safetensors. Это может сделать модель менее склонной к отказам, но одновременно снижает предсказуемость защитного поведения и не гарантирует безопасные ответы.

Квантование может уменьшать требования к памяти и вычислительным ресурсам по сравнению с полной версией модели, однако точный метод и уровень квантования в представленном README не указаны. Размер контекста, поддерживаемые дополнительные модальности, точные аппаратные требования и результаты тестирования не приведены. Модель распространяется по лицензии Gemma.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

QuantFactory Banner

QuantFactory/gemma-2-27b-it-abliterated-GGUF

This is quantized version of byroneverson/gemma-2-27b-it-abliterated created using llama.cpp

Original Model Card

gemma-2-27b-it-abliterated

Now accepting abliteration requests. If you would like to see a model abliterated, follow me and leave me a message with model link.

This is a new approach for abliterating models using CPU only. I was able to abliterate this model using free kaggle processing with no accelerator.

  1. Obtain refusal direction vector using a quant model with llama.cpp (llama-cpp-python and ggml-python).
  2. Orthogonalize each .safetensors files directly from original repo and upload to a new repo. (one at a time)

Check out the jupyter notebook for details of how this model was abliterated from gemma-2-27b-it.

Logo

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
5e9012f

0 моделей