Характеристики

Лицензия: Своя лицензия
Базовая модель: Qwen3.8-Flash-Next-heretic-2
Библиотека: llama.cpp
Опубликована: 1 сен 2026

Ссылки

Qwen3.8-Flash-Next-heretic-2-IQ4_XS-GGUF

Изображение и текст → текст9 профессий

Qwen3.8-Flash-Next-heretic-2-IQ4_XS-GGUF — это квантизированная GGUF-версия модели Qwen3.8-Flash-Next-heretic-2, подготовленная для запуска через llama.cpp.

385скачиваний за 30 дней0лайковвеса обновлены2 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий содержит пять основных IQ4_XS-шардов, набор из шести MTP/NextN-шардов для speculative decoding и совместимый мультимодальный проектор Q8_0. Модель основана на версии trohrbaugh/Qwen3.8-Flash-Next-heretic-2; исходная конверсия закреплена на конкретной ревизии проекта spiritfather/Qwen3.8-Flash-Next-heretic-2-i1-GGUF. Сведения о точном числе параметров, архитектуре, языках и размере контекста в карточке не указаны.

Модель предназначена для генерации текста и обработки изображений в сценариях image-text-to-text, включая мультимодальные запросы и задачи визуального grounding. Формат ориентирован на эффективное размещение и кэширование весов, в частности в средах Runpod Serverless. Для изображений требуется отдельный проектор mmproj в формате Q8_0. MTP-вариант поддерживает ускорение генерации посредством speculative decoding при использовании сборки llama.cpp с PR #27836; в README приведены рекомендуемые параметры запуска для IQ4-класса.

К сильным сторонам относятся сниженный размер квантизированных весов, поддержка мультимодального ввода и возможность ускоренной генерации с MTP. Ограничения связаны с необходимостью совместимой сборки llama.cpp, отдельного мультимодального проектора и корректного набора шардов; характеристики качества, производительности и языкового покрытия не приведены. Указана лицензия Qwen Community License версии qwen-community-1.0, условия которой распространяются на upstream-модель и конверсию.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-Flash-Next-heretic-2 — IQ4_XS GGUF

Minimal mirror containing the five plain IQ4_XS GGUF shards, the six-file MTP/NextN view required for speculative decoding, and the matching Q8_0 multimodal projector. It is intended for Runpod Serverless host-side model caching, avoiding the unrelated quantizations in the full source repository.

Source: spiritfather/Qwen3.8-Flash-Next-heretic-2-i1-GGUF, pinned at revision 83e364306943b1466ecf21d97f8353e8a24a5dee.

Load the first shard with llama.cpp; the remaining shards are discovered automatically:

IQ4_XS/Qwen3.8-Flash-Next-heretic-2-IQ4_XS-00001-of-00005.gguf

For MTP, use a llama.cpp build containing PR #27836 and load:

IQ4_XS/MTP/Qwen3.8-Flash-Next-heretic-2-IQ4_XS-MTP-00001-of-00006.gguf

Recommended IQ4-class speculative settings:

--spec-type draft-mtp --spec-draft-n-max 7 --spec-draft-p-min 0.75

MTP shards 2–5 reference the same underlying Hugging Face LFS blobs as the plain trunk shards, so the cache does not need a second physical copy of those weights.

For image inputs, load the projector from the matching heretic-2 conversion:

mmproj/mmproj-Qwen3.8-Flash-Next-heretic-2-Q8_0.gguf

With llama.cpp, use --mmproj <path> --mmproj-offload. Qwen-VL grounding tasks benefit from --image-min-tokens 1024; this was validated on an RTX PRO 6000 Blackwell with the MTP shard set above.

The upstream model and Qwen Community License terms continue to apply.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · llama.cpp

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: ec76d0c