Характеристики

Лицензия: Apache 2.0
Базовая модель: Qwen3-VL-8B-Abliterated-Caption-it
Библиотека: transformers
Опубликована: 30 окт 2025

Ссылки

Qwen3-VL-8B-Abliterated-Caption-it-GGUF

Описание изображенийИзображение → текст3 профессии

Qwen3-VL-8B-Abliterated-Caption-it-GGUF — это GGUF-квантизированная мультимодальная версия модели Qwen3-VL-8B-Abliterated-Caption-it, опубликованная и квантованная mradermacher на основе модели prithivMLmods.

4 240скачиваний за 30 дней7лайковвеса обновлены9 ноя 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для понимания изображений и генерации текстовых описаний, включая сценарии image captioning и visual understanding. Она поддерживает текстово-визуальный ввод и заявлена для работы на английском, китайском и тайском языках.

Модель относится к классу VLM и имеет размер 8 млрд параметров согласно названию базовой модели. Репозиторий содержит GGUF-варианты с разными уровнями квантования — от Q2_K до Q8_0, а также версии f16 и отдельные мультимодальные компоненты mmproj. Это позволяет выбирать баланс между размером файлов, скоростью и качеством; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как вариант с лучшим качеством среди указанных. Конкретный размер контекста и архитектурные детали в README не приведены.

Сильной стороной модели является поддержка мультимодальных задач при возможности запуска в компактных GGUF-форматах. Ограничения связаны с потерями качества при низком уровне квантования, а также с тем, что README не содержит результатов тестирования, подробностей о данных обучения и описания поведения abliteration-варианта. Лицензия — Apache-2.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

About

static quants of https://huggingface.co/prithivMLmods/Qwen3-VL-8B-Abliterated-Caption-it

For a convenient overview and download list, visit our model page for this model.

weighted/imatrix quants are available at https://huggingface.co/mradermacher/Qwen3-VL-8B-Abliterated-Caption-it-i1-GGUF

Usage

If you are unsure how to use GGUF files, refer to one of TheBloke's READMEs for more details, including on how to concatenate multi-part files.

Provided Quants

(sorted by size, not necessarily quality. IQ-quants are often preferable over similar sized non-IQ quants)

Link	Type	Size/GB	Notes
GGUF	mmproj-Q8_0	0.9	multi-modal supplement
GGUF	mmproj-f16	1.3	multi-modal supplement
GGUF	Q2_K	3.4
GGUF	Q3_K_S	3.9
GGUF	Q3_K_M	4.2	lower quality
GGUF	Q3_K_L	4.5
GGUF	IQ4_XS	4.7
GGUF	Q4_K_S	4.9	fast, recommended
GGUF	Q4_K_M	5.1	fast, recommended
GGUF	Q5_K_S	5.8
GGUF	Q5_K_M	6.0
GGUF	Q6_K	6.8	very good quality
GGUF	Q8_0	8.8	fast, best quality
GGUF	f16	16.5	16 bpw, overkill

Here is a handy graph by ikawrakow comparing some lower-quality quant types (lower is better):

And here are Artefact2's thoughts on the matter: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

FAQ / Model Request

See https://huggingface.co/mradermacher/model_requests for some answers to questions you might have and/or if you want some other model quantized.

Thanks

I thank my company, nethype GmbH, for letting me use its servers and providing upgrades to my workstation to enable this work in my free time.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: 7e4fe62