noctrex/Huihui-Qwen3-VL-30B-A3B-Thinking-abliterated-GGUF — набор GGUF-квантизаций мультимодальной модели Huihui-Qwen3-VL-30B-A3B-Thinking-abliterated, разработанной huihui-ai и опубликованной noctrex.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для задач image-text-to-text, то есть обработки изображений вместе с текстовыми запросами и генерации текстовых ответов; конкретные сценарии применения в README не раскрыты.
Известно, что это модель класса Qwen3-VL с архитектурой Mixture-of-Experts: обозначение 30B-A3B указывает на 30 млрд параметров всего и около 3 млрд активных параметров на токен. Вариант описан как thinking-модель и abliterated-модификация, однако подробности этих изменений, поддерживаемые языки и размер контекстного окна не указаны. Для работы рекомендуются актуальная версия llama.cpp и максимально качественная доступная квантизация; для мультимодального проектора mmproj предпочтителен вариант F32, затем BF16 или F16.
К сильным сторонам относятся поддержка изображений и текста, экономичность MoE-инференса при большом общем размере модели и наличие нескольких уровней квантизации. Ограничения связаны с зависимостью от совместимого llama.cpp и mmproj, а также с возможной потерей качества при использовании более низких уровней точности. Лицензия в README не указана.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
These are quantizations of the model Huihui-Qwen3-VL-30B-A3B-Thinking-abliterated
The imatrix from unsloth has been used for these.
Original model: https://huggingface.co/huihui-ai/Huihui-Qwen3-VL-30B-A3B-Thinking-abliterated
Download the latest llama.cpp to use them.
Try to use the best quality you can run.
For the mmproj, try to use the F32 version as it will produce the best results.
F32 > BF16 > F16.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).