/ Модель

Характеристики

Контекст
262 144 токена
Параметры
7,2 млрд
Размер весов
128 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_5_moe_text · MoE
Базовая модель
Qwen3.5-122B-A10B
Опубликована
20 сен 2026

less-is-moe-qwen3.5-122b-a10b-gpqa-main-64-intdim-l-50

Генерация текстаТекст → текст3 профессии

Структурно прореженная на 50% версия Qwen3.5-122B-A10B для генерации текста и экспериментов с компактными MoE-моделями.

335скачиваний за 30 дней0лайковвеса обновлены20 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это структурно прореженная версия Qwen3.5-122B-A10B, подготовленная автором jayzou3773 методом Less-is-MoE на основе среднего абсолютного градиента. Из маршрутизируемых FFN-нейронов экспертов удалено ровно 50%; калибровка выполнена на 64 примерах конфигурации gpqa_main датасета GPQA. Оптимизационный шаг после прореживания не выполнялся.

Модель относится к текстовым MoE-моделям для генерации текста и диалога. Метаданные указывают 7,2 млрд параметров и контекст до 262 144 токенов; репозиторий содержит веса safetensors. Карточка сообщает о калибровочных примерах длиной до 1 632 токенов, но не приводит результатов оценки качества после прореживания.

Модель предназначена для экспериментов с уменьшением размера Qwen3.5 и может использоваться для генерации ответов и диалога. Лицензия — Apache-2.0. Поскольку удалена половина нейронов экспертов и в карточке нет сравнительных бенчмарков, качество на задачах исходной модели не подтверждено.

Сценарии применения

  • эксперименты с прореживанием MoE-моделей
  • генерация текстовых ответов
  • создание диалогового прототипа

Ограничения

В карточке не приведены результаты бенчмарков после удаления 50% маршрутизируемых FFN-нейронов, поэтому качество на целевых задачах неясно. Калибровка использовала 64 примера GPQA длиной до 1 632 токенов; переносимость на другие данные не описана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IntDim-L 50% pruned Qwen/Qwen3.5-122B-A10B

This checkpoint was structurally pruned with the released Less-is-MoE mean-absolute-gradient method. It removes exactly 50% of routed-expert FFN neurons using 64 calibration samples from the gpqa_main configuration of Idavidrein/gpqa revision 633f5ee89ab8ad4522a9f850766b73f62147ffdd. The released loader settings are preserved: train, Question plus shuffled choices, Explanation, selection_seed=1234, BF16, and no optimizer step. The samples are full length: no tokenizer max_length, truncation, or padding. The longest input for this tokenizer is 1,632 tokens. The source checkpoint was loaded and pruned in BF16.

The source-row selection hash is 790c4c22309def44542965fdde7c5f38f1d8e354602640cfb31518134b8d92e6 and the model-specific token-file hash is 4cecf02da096c0d1c1f8f01bbdf8867186ab3064eccbfbb34cd9c16a89564d62. Full export and zero-mask equivalence metadata are in experiment-export.json. The exact calibration and held-out test rows are in the private dataset jayzou3773/less-is-moe-gpqa-main-calibration-64 revision b9596e85179b3017f77ba1436a5d2e61b6a61a5b, following GPQA's access terms.

Inference requires the Less-is-MoE ragged vLLM plugin from the unified Less-is-MoE GPU image. IntDim-E has one uniform expert width. IntDim-L/G retain the routed MoE topology and store compact per-expert widths in config.json.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Модели нужен vLLM (несколько GPU), но архитектура RaggedQwen3_5MoeForCausalLM ему неизвестна.

Класс архитектуры
RaggedQwen3_5MoeForCausalLM
Ревизия весов
e666950

0 моделей