/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
transformers
Опубликована
20 авг 2026

Qwen3.5-4B-Opus-Distilled-Heretic-Thinking-Multistage-SFT-v1.0-i1-GGUF

Генерация текстаТекст → текст13 профессий

Qwen3.5-4B-Opus-Distilled-Heretic-Thinking-Multistage-SFT-v1.0-i1-GGUF — GGUF-квантизированная версия модели Qwen3.5-4B-Opus-Distilled-Heretic-Thinking-Multistage-SFT-v1.0, разработанной prithivMLmods и квантизированной mradermacher.

745скачиваний за 30 дней0лайковвеса обновлены20 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель создана на основе многоэтапного supervised fine-tuning и ориентирована на генерацию текста, рассуждения, логический анализ, решение задач и математику. В карточке также указана поддержка vision, однако сведения о конкретных визуальных возможностях и необходимых mmproj-файлах приведены только в общем виде.

Модель предназначена для локального запуска и инференса через совместимые инструменты для GGUF, включая llama.cpp-подобные среды и vLLM; заявлена совместимость с контекстом до 32 тысяч токенов. Указан английский язык. Архитектура, точное количество параметров помимо обозначения 4B, результаты тестирования и сравнительные показатели в README не описаны, поэтому качество рассуждений и мультимодальной обработки следует проверять на собственных задачах.

Доступно множество вариантов квантизации с размером примерно от 1,5 до 2,5 ГБ, что облегчает запуск на устройствах с ограниченными ресурсами. При этом наиболее компактные варианты могут заметно уступать по качеству: для некоторых прямо отмечены очень низкое или сниженное качество. Модель распространяется под лицензией Apache-2.0; условия использования базовой модели отдельно не раскрыты в предоставленных данных.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

About

weighted/imatrix quants of https://huggingface.co/prithivMLmods/Qwen3.5-4B-Opus-Distilled-Heretic-Thinking-Multistage-SFT-v1.0

For a convenient overview and download list, visit our model page for this model.

static quants are available at https://huggingface.co/mradermacher/Qwen3.5-4B-Opus-Distilled-Heretic-Thinking-Multistage-SFT-v1.0-GGUF

This is a vision model - mmproj files (if any) will be in the static repository.

Usage

If you are unsure how to use GGUF files, refer to one of TheBloke's READMEs for more details, including on how to concatenate multi-part files.

Provided Quants

(sorted by size, not necessarily quality. IQ-quants are often preferable over similar sized non-IQ quants)

LinkTypeSize/GBNotes
GGUFimatrix0.1imatrix file (for creating your own quants)
GGUFi1-IQ1_S1.5for the desperate
GGUFi1-IQ1_M1.5mostly desperate
GGUFi1-IQ2_XXS1.6
GGUFi1-IQ2_XS1.7
GGUFi1-IQ2_S1.8
GGUFi1-IQ2_M1.8
GGUFi1-Q2_K_S2.0very low quality
GGUFi1-IQ3_XXS2.0lower quality
GGUFi1-Q2_K2.0IQ3_XXS probably better
GGUFi1-Q3_K_S2.2IQ3_XS probably better
GGUFi1-IQ3_XS2.2
GGUFi1-IQ3_S2.2beats Q3_K*
GGUFi1-IQ3_M2.3
GGUFi1-Q3_K_M2.4IQ3_S probably better
GGUFi1-Q3_K_L2.5IQ3_M probably better
GGUFi1-IQ4_XS2.6
GGUFi1-Q4_02.6fast, low quality
GGUFi1-Q4_K_S2.7optimal size/speed/quality
GGUFi1-IQ4_NL2.7prefer IQ4_XS
GGUFi1-Q4_K_M2.8fast, recommended
GGUFi1-Q4_12.9
GGUFi1-Q5_K_S3.1
GGUFi1-Q5_K_M3.2
GGUFi1-Q6_K3.6practically like static Q6_K

Here is a handy graph by ikawrakow comparing some lower-quality quant types (lower is better):

image.png

And here are Artefact2's thoughts on the matter: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9

FAQ / Model Request

See https://huggingface.co/mradermacher/model_requests for some answers to questions you might have and/or if you want some other model quantized.

Thanks

I thank my company, nethype GmbH, for letting me use its servers and providing upgrades to my workstation to enable this work in my free time. Additional thanks to @nicoboss for giving me access to his private supercomputer, enabling me to provide many more imatrix quants, at much higher quality, than I would otherwise be able to.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
5da58e6

0 моделей