/ Модель

Характеристики

Контекст
131 072 токена
Параметры
2,1 млрд
Размер весов
119 ГБ
Лицензия
Apache 2.0
Архитектура
gpt_oss · MoE
Базовая модель
gpt-oss-120b
Опубликована
20 сен 2026

less-is-moe-gpt-oss-120b-gpqa-main-64-intdim-g-50

Генерация текстаТекст → текст3 профессии

Экспериментально прореженный на 50% вариант gpt-oss-120b для генерации текста и диалогов.

305скачиваний за 30 дней0лайковвеса обновлены20 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспериментальный вариант openai/gpt-oss-120b, разработанный автором репозитория jayzou3773 и структурно прореженный методом mean-absolute-gradient из проекта Less-is-MoE. Из маршрутизируемых экспертных FFN удалено ровно 50% нейронов; для выбора использованы 64 калибровочных примера из конфигурации gpqa_main датасета Idavidrein/gpqa. Оптимизатор и шаги дообучения не применялись: чекпойнт сохранён в BF16 после скоринга и прореживания исходных весов MXFP4.

Модель предназначена для генерации текста и диалогового использования; заявленный контекст составляет 131 072 токена. В README описана калибровка на вопросах GPQA, но нет результатов оценки качества после прореживания, поэтому пригодность для ответов на сложные научные вопросы не подтверждена. Лицензия — Apache-2.0.

Сценарии применения

  • эксперименты со структурным прореживанием MoE-моделей
  • генерация текста в диалоговом формате
  • изучение влияния удаления нейронов экспертов на качество модели

Ограничения

В README не приведены оценки качества после удаления половины нейронов экспертов; калибровка использовала лишь 64 примера GPQA. Указанный размер модели 2,1 млрд параметров расходится с названием исходного чекпойнта gpt-oss-120b, поэтому метаданные не позволяют однозначно установить эффективный размер модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IntDim-G 50% pruned openai/gpt-oss-120b

This checkpoint was structurally pruned with the released Less-is-MoE mean-absolute-gradient method. It removes exactly 50% of routed-expert FFN neurons using 64 calibration samples from the gpqa_main configuration of Idavidrein/gpqa revision 633f5ee89ab8ad4522a9f850766b73f62147ffdd. The released loader settings are preserved: train, Question plus shuffled choices, Explanation, selection_seed=1234, BF16, and no optimizer step. The samples are full length: no tokenizer max_length, truncation, or padding. The longest input for this tokenizer is 1,511 tokens. The source MXFP4 checkpoint was explicitly dequantized to BF16 before scoring and pruning.

The source-row selection hash is 790c4c22309def44542965fdde7c5f38f1d8e354602640cfb31518134b8d92e6 and the model-specific token-file hash is 0c4117b307a807e731a987d9192ee61d7c8ade16c31eb0007bbe400629662080. Full export and zero-mask equivalence metadata are in experiment-export.json. The exact calibration and held-out test rows are in the private dataset jayzou3773/less-is-moe-gpqa-main-calibration-64 revision b9596e85179b3017f77ba1436a5d2e61b6a61a5b, following GPQA's access terms.

Inference requires the Less-is-MoE ragged vLLM plugin from the unified Less-is-MoE GPU image. IntDim-E has one uniform expert width. IntDim-L/G retain the routed MoE topology and store compact per-expert widths in config.json.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Модели нужен vLLM (несколько GPU), но архитектура RaggedGptOssForCausalLM ему неизвестна.

Класс архитектуры
RaggedGptOssForCausalLM
Ревизия весов
06bd011

0 моделей