/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen2.5-32B-Instruct
Библиотека
transformers
Опубликована
11 окт 2024

Qwen2.5-32B-Instruct-abliterated-v2-GGUF

Генерация текстаТекст → текст6 профессий

Qwen2.5-32B-Instruct-abliterated-v2-GGUF — это GGUF-версия модифицированной языковой модели Qwen2.5-32B-Instruct.

1 444скачиваний за 30 дней21лайквеса обновлены11 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Базовую модель разработала команда Qwen, а данную адаптацию опубликовал пользователь zetasepic. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-интерфейсах и локальных приложениях, поддерживающих формат GGUF.

Модель основана на инструкционно дообученной архитектуре Qwen2.5 с размером около 32 млрд параметров и работает в текстовой модальности. В карточке указано, что она ориентирована на английский язык; сведения о размере контекстного окна и конкретном формате квантования отсутствуют. Версия создана с применением техники abliteration и кода проекта refusal_direction, направленной на уменьшение выраженности отказов и моральных предостережений модели.

Потенциальным преимуществом является более свободное следование запросам по сравнению с исходной инструкционной моделью, а также возможность локального запуска через совместимые инструменты GGUF. При этом изменение поведения отказов может снизить встроенные защитные ограничения и повысить риск небезопасных или нежелательных ответов; качество и скорость также зависят от конкретной квантованной сборки и оборудования. Модель распространяется по лицензии Apache 2.0.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
b26c7a6

0 моделей