/ Модель

Характеристики

Контекст
131 072 токена
Параметры
1,7 млрд
Размер весов
119 ГБ
Лицензия
Apache 2.0
Архитектура
gpt_oss · MoE
Базовая модель
gpt-oss-120b
Опубликована
20 сен 2026

less-is-moe-gpt-oss-120b-gpqa-main-64-intdim-e-50

Генерация текстаТекст → текст3 профессии

Экспериментальная версия GPT-OSS-120B с удалёнными 50% нейронов экспертных FFN для генерации текста в диалогах.

361скачиваний за 30 дней0лайковвеса обновлены20 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспериментальный структурно прореженный чекпойнт модели openai/gpt-oss-120b, опубликованный jayzou3773. В нём методом Less-is-MoE удалено 50% нейронов FFN у маршрутизируемых экспертов; калибровка выполнена на 64 примерах из конфигурации gpqa_main набора Idavidrein/gpqa. Применялись shuffled choices и поля Question и Explanation, а исходные веса MXFP4 перед оценкой и прореживанием деквантизированы в BF16. Оптимизационный шаг не выполнялся.

Модель использует архитектуру GPT-OSS с MoE и предназначена для генерации текста в диалоговом режиме. Метаданные указывают 1,7 млрд параметров и контекст до 131072 токенов. Чекпойнт сохранён в safetensors и распространяется по лицензии Apache-2.0. Карточка описывает процедуру прореживания, но не приводит результатов оценки качества, поэтому нельзя судить о сохранении способностей исходной модели или пригодности для конкретных прикладных сценариев.

Сценарии применения

  • генерация ответов в диалоге
  • проверка влияния структурного прореживания на языковую модель
  • эксперименты с MoE-моделями на задачах вопросов и ответов GPQA

Ограничения

В README не приведены результаты оценки качества после удаления половины нейронов, поэтому сохранность исходных возможностей не подтверждена. Калибровка выполнена лишь на 64 примерах GPQA; представленные данные не подтверждают качество на других задачах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IntDim-E 50% pruned openai/gpt-oss-120b

This checkpoint was structurally pruned with the released Less-is-MoE mean-absolute-gradient method. It removes exactly 50% of routed-expert FFN neurons using 64 calibration samples from the gpqa_main configuration of Idavidrein/gpqa revision 633f5ee89ab8ad4522a9f850766b73f62147ffdd. The released loader settings are preserved: train, Question plus shuffled choices, Explanation, selection_seed=1234, BF16, and no optimizer step. The samples are full length: no tokenizer max_length, truncation, or padding. The longest input for this tokenizer is 1,511 tokens. The source MXFP4 checkpoint was explicitly dequantized to BF16 before scoring and pruning.

The source-row selection hash is 790c4c22309def44542965fdde7c5f38f1d8e354602640cfb31518134b8d92e6 and the model-specific token-file hash is 0c4117b307a807e731a987d9192ee61d7c8ade16c31eb0007bbe400629662080. Full export and zero-mask equivalence metadata are in experiment-export.json. The exact calibration and held-out test rows are in the private dataset jayzou3773/less-is-moe-gpqa-main-calibration-64 revision b9596e85179b3017f77ba1436a5d2e61b6a61a5b, following GPQA's access terms.

Inference requires stock vLLM from the unified Less-is-MoE GPU image. IntDim-E has one uniform expert width. IntDim-L/G retain the routed MoE topology and store compact per-expert widths in config.json.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
GptOssForCausalLM
Ревизия весов
969e733

0 моделей