/ Модель

Характеристики

Контекст
262 144 токена
Параметры
7,2 млрд
Лицензия
Apache 2.0
Архитектура
qwen3_5_moe_text · MoE
Базовая модель
Qwen3.5-122B-A10B
Опубликована
18 сен 2026

less-is-moe-qwen3.5-122b-a10b-s1-128-seq8192-intdim-e-50

Генерация текстаТекст → текст3 профессии

Прореженный чекпойнт Qwen3.5 MoE для диалоговой генерации текста и изучения структурного сокращения нейронов экспертов.

340скачиваний за 30 дней0лайковвеса обновлены18 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Экспериментальный чекпойнт Qwen3.5-122B-A10B, структурно уменьшенный разработчиком jayzou3773 методом Less-is-MoE. В нём удалено 50% нейронов FFN маршрутизируемых экспертов с использованием метода mean-absolute-gradient и 128 калибровочных примеров; оптимизационных шагов не выполнялось. Модель построена на архитектуре Qwen3.5 MoE для генерации текста и диалога, хранится в формате safetensors и содержит 7,2 млрд параметров. Контекстное окно — 262144 токена.

Чекпойнт предназначен для генерации ответов в диалоге и изучения влияния структурного прореживания экспертов на языковые модели. В карточке указан датасет калибровки jayzou3773/less-is-moe-s1-calibration-128-seq8192; исходная модель поддерживает мультимодальные функции, но для этого текстового чекпойнта заявлена задача text-generation. Лицензия — Apache-2.0. Качество после удаления половины нейронов в README не оценено; калибровка использовала лишь 128 примеров, поэтому возможности и качество могут отличаться от исходной модели.

Сценарии применения

  • генерация ответов в диалоге
  • создание текстовых продолжений по запросу
  • эксперименты со структурным прореживанием MoE-моделей

Ограничения

Удалено 50% нейронов FFN маршрутизируемых экспертов, а калибровка выполнена на 128 примерах без последующего дообучения; README не приводит оценок качества после прореживания.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IntDim-E 50% pruned Qwen/Qwen3.5-122B-A10B

This checkpoint was structurally pruned with the released Less-is-MoE mean-absolute-gradient method. It removes exactly 50% of routed-expert FFN neurons using 128 calibration samples from yentinglin/s1K-1.1-trl-format revision 58a01564d278477da20ead1bcf1cde8e31f36251. The released loader settings are preserved: train, messages, shuffle_seed=1234, seq_length=8192, prefix truncation, no padding, and BF16, with no optimizer step. The exact model-specific token tensors are published at jayzou3773/less-is-moe-s1-calibration-128-seq8192 revision 678b4e666183e16ec00376960df03b6381632ed1. The source checkpoint was loaded and pruned in BF16.

The source-row selection hash is f261e952d4e6d5dec6d37db4ab22636761b215281d33896060fe4467bb352784 and the model-specific token-file hash is 47214818e5c0acaa6e65d3f212f7fab62937a4085d26394c356e3be1c94fffbf. Full export and zero-mask equivalence metadata are in experiment-export.json.

Inference requires stock vLLM from the unified Less-is-MoE GPU image. IntDim-E has one uniform expert width. IntDim-L/G retain the routed MoE topology and store compact per-expert widths in config.json.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3_5MoeForCausalLM
Ревизия весов
24ab353

0 моделей