Qwen3.6-35B-A3B · Winnow keep-25 — производная разреженная модель семейства Qwen, созданная методом поканального прореживания экспертов. По README, разработчик оставил 25% каналов маршрутизируемых экспертов, удалив 75%; промежуточная ширина SwiGLU экспертов сокращена по оценкам важности каналов, а внимание, эмбеддинги и маршрутизатор сохранены. В карточке указано 2,9 млрд параметров, тогда как README сообщает 10,5 млрд, поэтому размер модели в источниках расходится.

Модель предназначена для генерации текста и диалогового использования. Указанный базовый чекпойнт — Qwen/Qwen3.6-35B-A3B; заявленное контекстное окно — 262 144 токена. Для запуска README требует Transformers версии 5 или новее и trust_remote_code=True; также описан запуск через vLLM с плагином winnow. На проверке perplexity на C4 приведено значение 22,53; сравнительные и downstream-результаты вынесены в отдельную публикацию.

Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о поддерживаемых языках и не даёт подробной оценки качества для прикладных задач; прореживание может влиять на качество относительно базовой модели.