/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
16,1 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_5 · dense
Базовая модель
Qwen3.8-27B
Библиотека
mlx
Опубликована
16 авг 2026

Qwen3.8-27B-Heretic-MLX-4bit

Изображение и текст → текст13 профессий

TheCluster/Qwen3.8-27B-Heretic-MLX-4bit — 4-битная квантованная версия модели Qwen3.8-27B, разработанная TheCluster на базе Qwen/Qwen3.8-27B.

635скачиваний за 30 дней4лайкавеса обновлены19 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель модифицирована с помощью Heretic v1.4.0 и позиционируется как uncensored-версия с уменьшенными ограничениями на генерируемый контент. В метаданных указана задача image-text-to-text, однако подробности о поддержке изображений в README не приведены.

Модель предназначена для диалоговой генерации текста, рассуждений и выполнения инструкций. Заявлена поддержка английского, китайского, русского, испанского, французского, итальянского, японского, корейского и ряда других языков, включая немецкий, арабский, турецкий, польский, украинский, португальский и финский. Размер базовой модели — 27B параметров; используется формат MLX и 4-битная affine-квантизация с размером группы 64. Размер контекста в README не указан.

К сильным сторонам относятся сниженный уровень встроенных ограничений, поддержка многоязычных сценариев и возможность запуска в экосистеме MLX при уменьшенных требованиях к памяти благодаря 4-битной квантизации. По умолчанию reasoning_effort установлен в low, чтобы избежать избыточного обдумывания. Для thinking mode рекомендованы temperature 1.0, top_p 0.95 и top_k 20, а для instruct или non-thinking mode — temperature 0.7, top_p 0.80 и top_k 20. Повышение presence_penalty может уменьшить бесконечные повторы, но иногда приводит к смешению языков и небольшому снижению качества. Лицензия — Apache-2.0.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B Heretic

Quality: quantized (4-bit, affine, group size: 64)

This is an uncensored version of Qwen/Qwen3.8-27B, made using Heretic v1.4.0.

Update: default reasoning_effort is set to 'low' to avoid overthinking.

Recommended settings

  1. Sampling Parameters: The developers suggest using the following sets of sampling parameters:

    • Thinking Mode: temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
    • Instruct (or non-thinking) mode: temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

    For supported frameworks, you can adjust the presence_penalty parameter between 0 and 2 to reduce endless repetition. However, using a higher value may occasionally result in language mixing and a slight decrease in model performance.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры
Qwen3_5ForConditionalGeneration
Ревизия весов
f359a1d

0 моделей