/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
508 млн
Размер весов
24,5 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_moe · MoE
Базовая модель
Marco-Mini-Instruct
Библиотека
transformers
Опубликована
6 окт 2026

Ссылки

Hugging FacearXiv 2510.13999

Marco-Mini-Instruct-REAP30

kueizen
Генерация текстаТекст → текст

Разреженная версия Marco-Mini-Instruct с 30% удалённых экспертов для диалогов и генерации текста.

155скачиваний за 30 дней0лайковвеса обновлены6 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Marco-Mini-Instruct-REAP30 — разреженная MoE-модель для генерации текста и диалогов, созданная автором kueizen на основе ATH-MaaS/Marco-Mini-Instruct. По README, исходная модель имеет 17,3 млрд параметров, около 0,86 млрд активных параметров, 256 экспертов и активирует 8 экспертов на токен; в этой версии методом REAP удалено 30% экспертов, осталось 180. Удаление выполнено за один проход без переобучения.

Репозиторий содержит полноточные веса bf16 в формате safetensors, предназначенные для запуска через Transformers, дальнейшего дообучения или повторной квантизации. Модель рассчитана на текстовый диалог и генерацию ответов; контекст — до 32 768 токенов. Базовая Marco-Mini-Instruct описана в метаданных как многоязычная инструкционная MoE-модель для диалогов, вопросов, рассуждений и перевода, однако конкретный список языков для этой версии не приведён.

Лицензия — Apache-2.0. Автор не публикует бенчмарки по задачам и рекомендует проверять модель на собственных сценариях перед использованием; удаление экспертов может повлиять на качество по сравнению с исходной моделью.

Сценарии применения

  • ведение текстового диалога
  • генерация ответов на вопросы
  • создание текстовых ответов по инструкции
  • экспериментальная оценка разреженной MoE-модели
  • дообучение Marco-Mini-Instruct с сокращённым набором экспертов

Ограничения

Для этой версии не опубликованы результаты бенчмарков; качество следует проверить на целевых задачах. После удаления 30% экспертов качество может отличаться от исходной модели.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Marco-Mini-Instruct-REAP30

Marco-Mini-Instruct (17.3B total, ~0.86B active, 256 experts, 8 active per token) with 30% of its experts removed by REAP: 180 of 256 experts kept. These are the full-precision (bf16) safetensors weights, for fine-tuning, re-quantising or running with transformers.

For ready-to-run quantised files at every pruning ratio, see kueizen/Marco-Mini-Instruct-REAP-GGUF.

Load it

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "kueizen/Marco-Mini-Instruct-REAP30"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="auto", device_map="auto")

How this was made

  • Pruning: REAP (Router-weighted Expert Activation Pruning, Cerebras Research), using the reference implementation. REAP scores each expert by its router weight times the size of its output over a calibration set, then removes the lowest-scoring experts whole. It is one-shot: no retraining. Seed 42.
  • Calibration set: theblackcat102/evol-codealpaca-v1 (train split, shuffled, seed 42), 64 samples per category, batch size 1, max sequence length 2048 tokens.
  • Experts removed: 30% (180 of 256 kept).

We have not run task benchmarks on these checkpoints (MMLU, coding, multilingual). Test them on your own workload before relying on them.

License and credits

Derived from ATH-MaaS/Marco-Mini-Instruct and released under the same Apache 2.0 licence. What we changed: removed experts with REAP. Nothing else was modified or retrained. REAP is by Cerebras Research: paper, code. All credit for the base model goes to its authors.

Published by Kueizen.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3MoeForCausalLM
Ревизия весов
6a8f98d

0 моделей

    Создать бенчмарк