Huihui-Qwen3-VL-30B-A3B-Instruct-abliterated-GGUF — набор квантованных версий мультимодальной модели Huihui-Qwen3-VL-30B-A3B-Instruct-abliterated, разработанной huihui-ai.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для задач image-text-to-text: обработки изображений вместе с текстовыми запросами и генерации текстовых ответов.
Модель основана на архитектуре Qwen3-VL и имеет конфигурацию 30B-A3B; точные характеристики архитектуры, поддерживаемые языки и размер контекста в README не указаны. Распространяется в формате GGUF для запуска через llama.cpp; для работы требуется актуальная версия llama.cpp и соответствующий мультимодальный проектор mmproj. Указано, что приоритет качества обычно имеют варианты mmproj в порядке F32, BF16, F16.
В наборе применена imatrix от unsloth, что связано с оптимизацией квантования. Основные ограничения — зависимость доступного качества и производительности от выбранного уровня квантования и аппаратных ресурсов, а также необходимость отдельного mmproj. Лицензия в README не указана; условия использования следует уточнять на странице исходной модели и репозитории квантованных версий.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
These are quantizations of the model Huihui-Qwen3-VL-30B-A3B-Instruct-abliterated
The imatrix from unsloth has been used for these.
Original model: https://huggingface.co/huihui-ai/Huihui-Qwen3-VL-30B-A3B-Instruct-abliterated
Download the latest llama.cpp to use them.
Try to use the best quality you can run.
For the mmproj, try to use the F32 version as it will produce the best results.
F32 > BF16 > F16.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).