Характеристики

Лицензия: Apache 2.0
Базовая модель: Huihui-Qwen3.5-35B-A3B-abliterated
Опубликована: 16 апр 2026

Ссылки

Huihui-Qwen35-A35B-Ablit-Small-TQ3_4S

YTan2000

Изображение и текст → текст4 профессии

Квантизированная мультимодальная чат-модель Qwen для ответов на вопросы и анализа изображений, запускаемая в GGUF через TurboQuant.

119скачиваний за 30 дней1лайквеса обновлены16 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Huihui-Qwen35-A35B-Ablit-Small-TQ3_4S — мультимодальная чат-модель на базе Huihui-Qwen3.5-35B-A3B-abliterated, представленная YTan2000 в формате GGUF. Это квантизированная сборка для запуска через llama.cpp и TurboQuant: эксперты MoE сжаты до 2–3 бит, компоненты внимания используют TQ3_4S, а мультимодальный проектор сохранён в F16. Репозиторий содержит основной файл размером 12,4 ГиБ; в рекомендуемой конфигурации указан контекст 16 384 токена и запуск на GPU с 16 ГБ видеопамяти.

Модель предназначена для диалогов, ответов на вопросы и анализа изображений. Ослабленные отказы позволяют ей отвечать на более широкий круг запросов, однако это не гарантирует точность или безопасность ответов. Автор README приводит результат 10/10 на стандартном QA-тесте, но не сообщает его название или методику. Для работы требуются совместимый TurboQuant runtime и поддержка мультимодальных файлов GGUF. Лицензия — Apache-2.0.

Сценарии применения

ответы на вопросы в диалоге
анализ изображений в чате
запуск мультимодальной модели локально через llama.cpp
работа с запросами, на которые модели с обычными отказами не отвечают

Ограничения

Для запуска требуется совместимый TurboQuant runtime; качество и безопасное поведение ответов не гарантируются. Указанные в README результаты QA не сопровождаются названием теста или описанием методики.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Huihui-Qwen35-A35B-Ablit-Small-TQ3_4S

GGUF quantization of huihui-ai/Huihui-Qwen3.5-35B-A3B-abliterated using TQ3_4S with mixed-precision MoE compression — 2-bit experts, 4-bit attention. Abliterated (uncensored) model.

Files

File	Description
`Huihui-Qwen35-A35B-Ablit-Small-TQ3_4S.gguf`	Main model (12.4 GiB, 3.07 BPW)
`mmproj-Qwen35-A35B-f16.gguf`	Multimodal projector (F16)

Quantization

Component	Quant	Rationale
Expert MLP gate/up	Q2_K	98% of params, MoE-tolerant
Expert MLP down	Q3_K	Write-back sensitivity
Attention Q/K/V/O	TQ3_4S	WHT-protected
Embeddings + output	Q6_K	Quality anchor

Runtime Requirement

This model requires the public TurboQuant runtime fork:

https://github.com/turbo-tan/llama.cpp-tq3

Recommended Settings (16GB VRAM)

./build/bin/llama-server \
  -m Huihui-Qwen35-A35B-Ablit-Small-TQ3_4S.gguf \
  -ngl 99 -c 16384 -np 1 \
  -ctk q4_0 -ctv tq3_0 -fa on \
  --jinja \
  --reasoning off --reasoning-budget 0 --reasoning-format deepseek

Performance (RTX 5060 Ti 16GB)

Metric	Value
PP512	1882 tok/s
TG128	98.7 tok/s
Size	12.4 GiB
BPW	3.07
ngl	99 (full GPU)

Quality

10/10 correct on standard QA benchmark.

Safety Notice

This is an abliterated/uncensored model. Use responsibly.

Base Model

huihui-ai/Huihui-Qwen3.5-35B-A3B-abliterated
Original: Qwen/Qwen3.5-35B-A3B

License

Apache 2.0 — same as the base model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: ffd6167