noctrex/Huihui-Qwen3-VL-2B-Instruct-abliterated-GGUF — набор квантованных версий модели Huihui-Qwen3-VL-2B-Instruct-abliterated, разработанной huihui-ai и распространяемой в формате GGUF.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для задач image-text-to-text: обработки изображений вместе с текстовыми запросами и генерации текстовых ответов. В README указано, что это мультимодальная instruct-модель на базе Qwen3-VL с размером 2B параметров; поддерживаемые языки и максимальная длина контекста не указаны.
Ключевая особенность — abliterated-версия, а квантования созданы с использованием imatrix, объединяющей наборы combined_all_large и harmful.txt. Это позволяет запускать модель с меньшими требованиями к ресурсам, однако конкретные варианты квантования и их характеристики в README не перечислены. Для работы рекомендуется использовать актуальную версию llama.cpp, а для мультимодального проектора mmproj — версию F32, которая, согласно README, обеспечивает лучшее качество по сравнению с BF16 и F16.
Сильными сторонами модели являются поддержка визуально-текстовых сценариев, компактный размер и возможность локального запуска через llama.cpp. Ограничения включают отсутствие подробных данных о качестве, языках, контекстном окне и точных параметрах квантований. Лицензия в представленном README не указана.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
These are quantizations of the model Huihui-Qwen3-VL-2B-Instruct-abliterated.
These quantizations were created using an imatrix merged from combined_all_large and harmful.txt to leverage the abliterated nature of the model.
Usage Notes:
mmproj file, the F32 version is recommended for best results (F32 > BF16 > F16).На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).