/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Qwen3.5-122B-A10B
Библиотека
transformers
Опубликована
23 июн 2026

Huihui-Qwen3.5-122B-A10B-Abliterated-GGUF

Изображение и текст → текст11 профессий

Huihui-Qwen3.5-122B-A10B-Abliterated-GGUF — это GGUF-квантизированная версия модели Qwen/Qwen3.5-122B-A10B, созданная разработчиком Huihui AI с применением abliteration — экспериментального метода снижения отказов модели.

1 798скачиваний за 30 дней1лайквеса обновлены6 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для локального запуска через llama.cpp и ориентирована на задачи оркестрации, режимы Ask и Architect, а также другие сценарии, где требуется производительная генерация текста. Поддерживается обработка изображений через отдельный файл mmproj.gguf.

Модель основана на Qwen3.5-122B-A10B; из идентификатора следует конфигурация с общим размером 122B и обозначением A10B, однако подробности архитектуры, языковой поддержки и максимального контекста в README не приведены. Доступны различные квантизации, включая Q6_K, Q4_K_M и MXFP4_MOE. В README указана скорость около 65 токенов в секунду для варианта MTP на нескольких RTX 3090; для ускорения рекомендуется использовать актуальную версию llama.cpp, speculative decoding с draft-MTP и при необходимости unified memory.

Ключевая особенность модели — существенно сниженная фильтрация безопасности и отсутствие стандартных гарантий безопасного поведения. Это может быть полезно для исследований и контролируемого тестирования, но повышает риск чувствительных, спорных или неподходящих ответов и делает модель непригодной без дополнительного контроля для публичных и высокорисковых приложений. Рекомендуются мониторинг результатов и ручная проверка. В карточке указана лицензия Apache 2.0; конкретные условия для производного варианта следует сверять с лицензией базовой модели.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

huihui-ai/Huihui-Qwen3.5-122B-A10B-abliterated

This is an uncensored version of Qwen/Qwen3.5-122B-A10B created with abliteration (see remove-refusals-with-transformers to know more about it). This is a crude, proof-of-concept implementation to remove refusals from an LLM model without using TransformerLens. I needed a better performing model than Qwen3.6-35B to act in Orchestrator, Ask and Architect mode. The model in MTP generates 65 tokens/sec on a multiple RTX 3090 platform. Probably more if using a lower quant than Q6_K. I have also generated MXFP4_MOE and Q4_K_M quants. You can export GGML_CUDA_ENABLE_UNIFIED_MEMORY=1 to enable unified memory on linux with Nvidia. All model quants tested with mmproj.gguf for multi-modal image use.

llama.cpp

Use the latest version of llama.cpp

llama-server --host 0.0.0.0 --jinja --mmap --spec-type draft-mtp --ctx-size 262133 --cache-type-k q4_0 --cache-type-v q4_0 --flash-attn on --model Huihui-Qwen3.5-122B-FULL-Q6_K.gguf --mmproj mmproj.gguf --n-gpu-layers 99 --split-mode layer --repeat-penalty 1.10 --jinja

Usage Warnings

  • Risk of Sensitive or Controversial Outputs: This model’s safety filtering has been significantly reduced, potentially generating sensitive, controversial, or inappropriate content. Users should exercise caution and rigorously review generated outputs.

  • Not Suitable for All Audiences: Due to limited content filtering, the model’s outputs may be inappropriate for public settings, underage users, or applications requiring high security.

  • Legal and Ethical Responsibilities: Users must ensure their usage complies with local laws and ethical standards. Generated content may carry legal or ethical risks, and users are solely responsible for any consequences.

  • Research and Experimental Use: It is recommended to use this model for research, testing, or controlled environments, avoiding direct use in production or public-facing commercial applications.

  • Monitoring and Review Recommendations: Users are strongly advised to monitor model outputs in real-time and conduct manual reviews when necessary to prevent the dissemination of inappropriate content.

  • No Default Safety Guarantees: Unlike standard models, this model has not undergone rigorous safety optimization. huihui.ai nor I bear any responsibility for any consequences arising from its use.

Donation

Your donation helps us continue our further development and improvement, a cup of coffee can do it and will be much appreciated!
  • bitcoin(BTC):
  bc1q6nvh39fcmy0de0ezepnn2z0rn4dme9yjal77ah

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов
81ce092

0 моделей