Qwen2.5-32B-Instruct-abliterated-pass2-AWQ

Репозиторий опубликован Ibrahim Kettaneh, а исходную модель разработала команда Qwen компании Alibaba Cloud. Вариант pass2 относится к моделям с изменённым поведением отказов, описываемым как refusal-ablated; точные методы и результаты такого изменения в доступных данных не указаны.

Модель предназначена для генерации текста, диалогов, следования инструкциям, работы со структурированными данными, программированием и математическими задачами. Она сохраняет характеристики базовой Qwen2.5-32B-Instruct: causal language model с архитектурой на основе Transformer, RoPE, SwiGLU, RMSNorm и GQA; около 32,5 млрд параметров, 64 слоя, 40 attention heads для Q и 8 для KV. Поддерживаются контекст до 131 072 токенов и генерация до 8 192 токенов, а также более 29 языков, включая русский, английский и китайский. Это текстовая модель без заявленной поддержки изображений или других модальностей.

Ключевые преимущества — большой размер, развитое следование инструкциям, длинный контекст, мультиязычность и сниженное количество стандартных отказов вследствие abliteration. Ограничения включают высокие требования к памяти и вычислениям, возможное ухудшение безопасности и надёжности отказов по сравнению с исходной instruct-моделью, а также отсутствие подтверждённых независимых оценок именно этой AWQ-версии. Для производной модели лицензия в найденных данных не заявлена; у базовой Qwen2.5-32B-Instruct указана Apache License 2.0, но её применимость к данному производному репозиторию следует проверять отдельно.