Huihui-Qwen3-VL-4B-Instruct-abliterated-GGUF — набор квантованных версий мультимодальной модели Huihui-Qwen3-VL-4B-Instruct-abliterated, разработанной huihui-ai.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель относится к классу image-text-to-text и предназначена для задач, где требуется обрабатывать изображения вместе с текстовыми запросами и генерировать текстовые ответы.
В карточке указано, что доступны форматы GGUF, обновлённые с использованием imatrix от unsloth. Базовая модель имеет размер 4B параметров и ориентирована на запуск через llama.cpp; для работы рекомендуется использовать последнюю версию этого инструмента. Для визуального модуля mmproj предпочтителен вариант F32, поскольку он должен обеспечивать лучшее качество по сравнению с BF16 и F16, хотя требует больше ресурсов. Конкретные поддерживаемые языки, размер контекстного окна, архитектурные детали, лицензия, результаты оценки и ограничения в README не указаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
These are quantizations of the model Huihui-Qwen3-VL-4B-Instruct-abliterated.
They have been updated to use the imatrix from unsloth.
Original model: https://huggingface.co/huihui-ai/Huihui-Qwen3-VL-4B-Instruct-abliterated
Download the latest llama.cpp to use them.
Try to use the best quality you can run.
For the mmproj, try to use the F32 version as it will produce the best results. F32 > BF16 > F16
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).