Характеристики

Контекст: 262 144 токена
Параметры: 7,2 млрд
Размер весов: 128 ГБ
Лицензия: Apache 2.0
Архитектура: qwen3_5_moe_text · MoE
Базовая модель: Qwen3.5-122B-A10B
Опубликована: 20 сен 2026

Ссылки

Hugging Face

less-is-moe-qwen3.5-122b-a10b-gpqa-main-64-intdim-g-50

jayzou3773

Генерация текстаТекст → текст3 профессии

Экспериментально прореженный на 50% чекпойнт Qwen3.5-122B-A10B для генерации текста и диалогов.

380скачиваний за 30 дней0лайковвеса обновлены20 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспериментальный чекпойнт Qwen3.5-122B-A10B, структурно прореженный методом Less-is-MoE с удалением 50% нейронов FFN у маршрутизируемых экспертов. Разработчик применил метод mean-absolute-gradient на 64 калибровочных примерах из набора GPQA Main; оптимизационный шаг не выполнялся. Исходные веса и результат обработки использовали формат BF16, а в репозитории модель хранится в safetensors.

Модель предназначена для генерации текста и диалоговых сценариев на основе Qwen3.5. Длина контекста в метаданных составляет 262144 токена. Калибровка проводилась на вопросах GPQA с перемешанными вариантами ответа и объяснениями, но это само по себе не подтверждает специализацию или качество модели для решения GPQA.

Модель основана на Qwen/Qwen3.5-122B-A10B и доступна по лицензии Apache-2.0. README описывает процедуру структурного прореживания, но не приводит результаты оценки качества после него; удаление половины нейронов может повлиять на способности исходной модели.

Сценарии применения

генерация текста в диалоговом формате
исследование влияния структурного прореживания на MoE-модели
сравнение качества чекпойнтов до и после прореживания
эксперименты с языковыми моделями на задачах вопросов и ответов

Ограничения

README не сообщает результаты оценки качества после прореживания, поэтому пригодность для прикладных задач не подтверждена. При калибровке использовано всего 64 примера GPQA Main.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IntDim-G 50% pruned Qwen/Qwen3.5-122B-A10B

This checkpoint was structurally pruned with the released Less-is-MoE mean-absolute-gradient method. It removes exactly 50% of routed-expert FFN neurons using 64 calibration samples from the gpqa_main configuration of Idavidrein/gpqa revision 633f5ee89ab8ad4522a9f850766b73f62147ffdd. The released loader settings are preserved: train, Question plus shuffled choices, Explanation, selection_seed=1234, BF16, and no optimizer step. The samples are full length: no tokenizer max_length, truncation, or padding. The longest input for this tokenizer is 1,632 tokens. The source checkpoint was loaded and pruned in BF16.

The source-row selection hash is 790c4c22309def44542965fdde7c5f38f1d8e354602640cfb31518134b8d92e6 and the model-specific token-file hash is 4cecf02da096c0d1c1f8f01bbdf8867186ab3064eccbfbb34cd9c16a89564d62. Full export and zero-mask equivalence metadata are in experiment-export.json. The exact calibration and held-out test rows are in the private dataset jayzou3773/less-is-moe-gpqa-main-calibration-64 revision b9596e85179b3017f77ba1436a5d2e61b6a61a5b, following GPQA's access terms.

Inference requires the Less-is-MoE ragged vLLM plugin from the unified Less-is-MoE GPU image. IntDim-E has one uniform expert width. IntDim-L/G retain the routed MoE topology and store compact per-expert widths in config.json.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Модели нужен vLLM (несколько GPU), но архитектура RaggedQwen3_5MoeForCausalLM ему неизвестна.

Класс архитектуры: RaggedQwen3_5MoeForCausalLM
Ревизия весов: 323301e