Характеристики

Контекст: 262 144 токена
Размер весов: 18,7 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_5 · dense
Базовая модель: Qwen3.8-27B-heretic-ara
Библиотека: transformers
Опубликована: 17 авг 2026

Ссылки

Qwen3.8-27B-heretic-ara-W4A16

Генерация текстаТекст → текст8 профессий

JC1DA/Qwen3.8-27B-heretic-ara-W4A16 — 4-битная версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, разработанная JC1DA и опубликованная на базе библиотеки Transformers.

811скачиваний за 30 дней0лайковвеса обновлены17 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и может использоваться в сценариях, поддерживаемых causal language models, включая локальный инференс с пониженным потреблением памяти.

Модель содержит около 27 млрд параметров и поставляется в десяти файлах. Используется квантование весов W4A16: веса представлены с точностью 4 бита, а активации — 16 битами. Квантование выполнено с помощью AutoRound в формате auto_round, с размером группы 128, 1000 итерациями и включённой компиляцией Torch. Некоторые слои, включая эмбеддинги, визуальные слои, отдельные нормализующие и линейные слои, не квантовались. Язык, размер контекста и точный набор поддерживаемых модальностей в README не указаны.

Для загрузки рекомендуется использовать загрузчик AutoRound; также приведён вариант загрузки через Transformers при совместимой конфигурации. Лицензия модели — Apache-2.0. К ограничениям относятся зависимость от совместимости окружения с AutoRound или Transformers, а также отсутствие в README подробностей о качестве, языковой поддержке и результатах тестирования.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

JC1DA/Qwen3.8-27B-heretic-ara-W4A16

4-bit weight quantized version of trohrbaugh/Qwen3.8-27B-heretic-ara using AutoRound.

Quantization Details

Scheme: W4A16 (4-bit weights, 16-bit activations)
Format: auto_round
Library: AutoRound
Iterations: 1000
Torch compile: enabled
Group size: 128
Ignored layers: embed_tokens, visual layers, mtp layers, input_layernorm, post_attention_layernorm, q_norm, k_norm, conv1d, linear_attn.norm

Original quantization command

auto-round --model trohrbaugh/Qwen3.8-27B-heretic-ara --scheme "W4A16" --format "auto_round" --output_dir ./Qwen_Qwen3.8-27B-INT4-W4A16-Autoround --iters 1000 --enable_torch_compile --ignore_layers "model.language_model.embed_tokens,model.visual.*,mtp.*,input_layernorm,post_attention_layernorm,q_norm,k_norm,conv1d,linear_attn.norm"

Usage

Load with AutoRound's loader:

from autoround.autoround_utils import load_model
model = load_model(model_path="JC1DA/Qwen3.8-27B-heretic-ara-W4A16")

Or with standard transformers (if compatible with your setup):

from transformers import AutoModelForCausalLM, AutoProcessor
model = AutoModelForCausalLM.from_pretrained("JC1DA/Qwen3.8-27B-heretic-ara-W4A16", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("JC1DA/Qwen3.8-27B-heretic-ara-W4A16")

Model Info

Parameters: ~27B
Sharded: Yes (10 shards)
Files: model-00001-of-00010.safetensors through model-00010-of-00010.safetensors

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen3_5ForConditionalGeneration
Ревизия весов: 0a19146