Характеристики

Контекст: 262 144 токена
Параметры: 2,9 млрд
Размер весов: 53,2 ГБ
Лицензия: Apache 2.0
Архитектура: pruned_qwen3_5_moe · MoE
Базовая модель: Qwen3.6-35B-A3B
Библиотека: transformers
Опубликована: 21 июл 2026

Ссылки

Hugging Face

Qwen3.6-35B-A3B-winnow-keep75

hbfreed

Генерация текстаТекст → текст11 профессий

Прореженная версия Qwen3.6-35B-A3B для диалогов и генерации текста с уменьшенной шириной каналов экспертов.

85скачиваний за 30 дней1лайквеса обновлены21 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Qwen3.6-35B-A3B Winnow keep-75 — это разреженная версия Qwen3.6-35B-A3B, подготовленная автором репозитория hbfreed с помощью поканального прореживания экспертов Winnow. В каждом эксперте SwiGLU удалено 25% каналов по оценке их важности; механизмы внимания, эмбеддинги и маршрутизатор не изменены. README указывает 26,6 млрд параметров, тогда как метаданные каталога — 2,9 млрд; эти оценки расходятся, поэтому размер здесь не приводится.

Модель предназначена для генерации текста и диалогов. В README приведён результат perplexity 13,39 на C4 для данного непрошедшего дополнительное восстановление чекпойнта; сравнения с другими вариантами и показатели на downstream-задачах вынесены в отдельный материал. Указана длина контекста 262 144 токена. Для загрузки требуется Transformers версии 5 или новее и trust_remote_code=True; README также описывает запуск через vLLM с плагином winnow. Лицензия — Apache-2.0. Языки отдельно не перечислены.

Сценарии применения

генерация ответов в диалоговом интерфейсе
создание и продолжение текстов
запуск текстовой LLM с прореженными MoE-экспертами

Ограничения

Для работы требуется Transformers версии 5 или новее и trust_remote_code=True. Приведённая оценка perplexity относится к непрошедшему дополнительное восстановление чекпойнту; сравнительные и downstream-результаты в README не приведены.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.6-35B-A3B · Winnow keep-75

Qwen/Qwen3.6-35B-A3B with 25% of routed-expert channels removed by winnow variable-width expert pruning — 26.6B parameters. Requires trust_remote_code=True (ragged variable-width experts, PrunedQwen3_5MoeForCausalLM); transformers ≥ 5.

Instead of deleting whole experts (REAP-style), winnow shrinks each expert's SwiGLU intermediate width according to a per-channel importance score (router weight × |post-SwiGLU activation| × down-projection column L2), allocated by a per-layer global rank in blocks of 128 channels. Attention, embeddings and the router are untouched. Calibration: C4, qwen35_stats1024.

Results (unhealed, this checkpoint)


Keep fraction	0.75
Params	26.6B (base 35B)
C4 ppl, 32 × 2048-token seqs (`winnow_verify.json`)	13.39

Whole-expert REAP comparison at matched budget and calibration, and downstream numbers (MMLU-Pro / IFEval, Protocol E), are in the Winnow writeup. Healed variants: keep50-healed, keep25-healed.

Serving

vLLM via the winnow plugin in variable-reap; --enforce-eager, pipeline-parallel supported (keep-50 runs on 2 × 24 GB).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: PrunedQwen3_5MoeForCausalLM
Ревизия весов: 4be5ca0