/ Модель

Характеристики

Контекст
131 072 токена
Параметры
2,1 млрд
Размер весов
119 ГБ
Лицензия
Apache 2.0
Архитектура
gpt_oss · MoE
Базовая модель
gpt-oss-120b
Опубликована
18 сен 2026

less-is-moe-gpt-oss-120b-s1-128-seq8192-intdim-g-50

Генерация текстаТекст → текст6 профессий

Прореженная на 50% версия GPT-OSS-120B для генерации текста и диалогов с уменьшенным числом параметров.

392скачиваний за 30 дней0лайковвеса обновлены18 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это структурно прореженная на 50% версия GPT-OSS-120B от OpenAI, подготовленная jayzou3773 методом Less-is-MoE. Из FFN-блоков маршрутизируемых экспертов удалена половина нейронов по оценкам mean-absolute-gradient; для отбора использованы 128 калибровочных примеров с последовательностями длиной 8192 токена. Перед оценкой исходные веса MXFP4 были преобразованы в BF16; шагов оптимизации при этом не выполнялось. Модель предназначена для генерации текста и диалогового взаимодействия. Архитектура — MoE, формат весов — safetensors; общее число параметров составляет 2,1 млрд, заявленный контекст — 131072 токена.

Модель сохраняет назначение базовой GPT-OSS-120B для генерации текста, но структурное прореживание может влиять на качество ответов и поведение модели. Она распространяется по лицензии Apache-2.0.

Сценарии применения

  • генерация ответов в диалоговом интерфейсе
  • создание черновиков и продолжение текста
  • эксперименты с влиянием прореживания экспертов MoE
  • оценка сжатых языковых моделей

Ограничения

Удаление половины нейронов маршрутизируемых FFN-экспертов может снизить качество или изменить поведение относительно исходной модели. Описание не приводит результатов оценки качества.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IntDim-G 50% pruned openai/gpt-oss-120b

This checkpoint was structurally pruned with the released Less-is-MoE mean-absolute-gradient method. It removes exactly 50% of routed-expert FFN neurons using 128 calibration samples from yentinglin/s1K-1.1-trl-format revision 58a01564d278477da20ead1bcf1cde8e31f36251. The released loader settings are preserved: train, messages, shuffle_seed=1234, seq_length=8192, prefix truncation, no padding, and BF16, with no optimizer step. The exact model-specific token tensors are published at jayzou3773/less-is-moe-s1-calibration-128-seq8192 revision 678b4e666183e16ec00376960df03b6381632ed1. The source MXFP4 checkpoint was explicitly dequantized to BF16 before scoring and pruning.

The source-row selection hash is f261e952d4e6d5dec6d37db4ab22636761b215281d33896060fe4467bb352784 and the model-specific token-file hash is 1d487883f20fcbc52d7642695c87313d2ea2e9c53c193a3ed7ad6eac8f9d272a. Full export and zero-mask equivalence metadata are in experiment-export.json.

Inference requires the Less-is-MoE ragged vLLM plugin from the unified Less-is-MoE GPU image. IntDim-E has one uniform expert width. IntDim-L/G retain the routed MoE topology and store compact per-expert widths in config.json.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Модели нужен vLLM (несколько GPU), но архитектура RaggedGptOssForCausalLM ему неизвестна.

Класс архитектуры
RaggedGptOssForCausalLM
Ревизия весов
0ebeced

0 моделей