Abliterated version of Qwen/Qwen2.5-32B-Instruct, utilizing code from refusal_direction.
For more information about the Abliterated technique, refer to this article and check out @FailSpy.
Qwen2.5-32B-Instruct-abliterated-v2-GGUF — это GGUF-версия модифицированной языковой модели Qwen2.5-32B-Instruct.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Базовую модель разработала команда Qwen, а данную адаптацию опубликовал пользователь zetasepic. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-интерфейсах и локальных приложениях, поддерживающих формат GGUF.
Модель основана на инструкционно дообученной архитектуре Qwen2.5 с размером около 32 млрд параметров и работает в текстовой модальности. В карточке указано, что она ориентирована на английский язык; сведения о размере контекстного окна и конкретном формате квантования отсутствуют. Версия создана с применением техники abliteration и кода проекта refusal_direction, направленной на уменьшение выраженности отказов и моральных предостережений модели.
Потенциальным преимуществом является более свободное следование запросам по сравнению с исходной инструкционной моделью, а также возможность локального запуска через совместимые инструменты GGUF. При этом изменение поведения отказов может снизить встроенные защитные ограничения и повысить риск небезопасных или нежелательных ответов; качество и скорость также зависят от конкретной квантованной сборки и оборудования. Модель распространяется по лицензии Apache 2.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Abliterated version of Qwen/Qwen2.5-32B-Instruct, utilizing code from refusal_direction.
For more information about the Abliterated technique, refer to this article and check out @FailSpy.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.