/ Модель

Характеристики

Контекст
131 072 токена
Параметры
1,7 млрд
Размер весов
119 ГБ
Лицензия
Apache 2.0
Архитектура
gpt_oss · MoE
Базовая модель
gpt-oss-120b
Опубликована
18 сен 2026

less-is-moe-gpt-oss-120b-s1-128-seq8192-intdim-e-50

Генерация текстаТекст → текст5 профессий

Структурно прореженная версия GPT-OSS-120B для генерации текста и диалогового общения с удалением половины нейронов FFN маршрутизируемых экспертов.

401скачиваний за 30 дней0лайковвеса обновлены18 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это структурно прореженный чекпойнт jayzou3773 на основе openai/gpt-oss-120b, предназначенный для генерации текста и диалогового общения. При создании методом Less-is-MoE mean-absolute-gradient удалено 50% нейронов FFN маршрутизируемых экспертов; для оценки использованы 128 калибровочных примеров с длиной последовательности 8192. Оптимизатор и шаги дообучения не применялись, поэтому это не обычный fine-tuning, а структурная модификация модели.

Модель имеет архитектуру GPT-OSS с разреженной смесью экспертов (MoE), около 1,7 млрд параметров и контекстное окно до 131 072 токенов. Репозиторий содержит веса Safetensors; исходный чекпойнт MXFP4 был деквантован в BF16 перед оценкой и прореживанием. Модель предназначена для текстовых запросов и выдаёт текст. Указана лицензия Apache-2.0. README не сообщает целевые языки и специализированные области применения.

Сценарии применения

  • генерация ответов в текстовом чате
  • продолжение заданного текста
  • проверка структурного прореживания MoE-модели
  • эксперименты с компрессией языковых моделей

Ограничения

В README не приведены результаты оценки качества после удаления половины нейронов FFN маршрутизируемых экспертов. Языковая специализация модели не указана.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IntDim-E 50% pruned openai/gpt-oss-120b

This checkpoint was structurally pruned with the released Less-is-MoE mean-absolute-gradient method. It removes exactly 50% of routed-expert FFN neurons using 128 calibration samples from yentinglin/s1K-1.1-trl-format revision 58a01564d278477da20ead1bcf1cde8e31f36251. The released loader settings are preserved: train, messages, shuffle_seed=1234, seq_length=8192, prefix truncation, no padding, and BF16, with no optimizer step. The exact model-specific token tensors are published at jayzou3773/less-is-moe-s1-calibration-128-seq8192 revision 678b4e666183e16ec00376960df03b6381632ed1. The source MXFP4 checkpoint was explicitly dequantized to BF16 before scoring and pruning.

The source-row selection hash is f261e952d4e6d5dec6d37db4ab22636761b215281d33896060fe4467bb352784 and the model-specific token-file hash is 1d487883f20fcbc52d7642695c87313d2ea2e9c53c193a3ed7ad6eac8f9d272a. Full export and zero-mask equivalence metadata are in experiment-export.json.

Inference requires stock vLLM from the unified Less-is-MoE GPU image. IntDim-E has one uniform expert width. IntDim-L/G retain the routed MoE topology and store compact per-expert widths in config.json.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
GptOssForCausalLM
Ревизия весов
cc6d97d

0 моделей