/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
508 млн
Размер весов
10,8 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_moe · MoE
Базовая модель
Marco-Mini-Instruct
Библиотека
transformers
Опубликована
6 окт 2026

Ссылки

Hugging FacearXiv 2510.13999

Marco-Mini-Instruct-REAP70

kueizen
Генерация текстаТекст → текст

Сжатая удалением экспертов версия Marco-Mini-Instruct для диалоговой генерации текста и выполнения инструкций.

194скачиваний за 30 дней0лайковвеса обновлены6 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

kueizen/Marco-Mini-Instruct-REAP70 — сжатая удалением экспертов версия мультиязычной инструкционной MoE-модели ATH-MaaS/Marco-Mini-Instruct. В ней оставлено 77 из 256 экспертов; на каждый токен активируются 8 экспертов. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, рассуждения и перевод, возможности унаследованы от базовой модели.

Эксперты удалены методом REAP (Router-weighted Expert Activation Pruning) по калибровочной выборке; дообучение после pruning не проводилось. В репозитории размещены полноточные веса bf16 в формате safetensors, рассчитанные на запуск через Transformers, дальнейшее дообучение или повторную квантизацию. Размер активной модели после pruning — около 507,9 млн параметров, контекст — 32 768 токенов.

Автор не проводил бенчмарки качества, в том числе по задачам программирования и многоязычия, поэтому результаты следует проверить на целевых сценариях. Лицензия — Apache-2.0.

Сценарии применения

  • ответы на вопросы в диалоге
  • генерация текста по инструкциям
  • многоязычный перевод
  • рассуждения в формате чата
  • дообучение компактной MoE-модели

Ограничения

Бенчмарки качества не проводились, поэтому качество на конкретных задачах, включая программирование и многоязычную генерацию, не подтверждено. После удаления 70% экспертов характеристики базовой модели могут измениться.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Marco-Mini-Instruct-REAP70

Marco-Mini-Instruct (17.3B total, ~0.86B active, 256 experts, 8 active per token) with 70% of its experts removed by REAP: 77 of 256 experts kept. These are the full-precision (bf16) safetensors weights, for fine-tuning, re-quantising or running with transformers.

For ready-to-run quantised files at every pruning ratio, see kueizen/Marco-Mini-Instruct-REAP-GGUF.

Load it

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "kueizen/Marco-Mini-Instruct-REAP70"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="auto", device_map="auto")

How this was made

  • Pruning: REAP (Router-weighted Expert Activation Pruning, Cerebras Research), using the reference implementation. REAP scores each expert by its router weight times the size of its output over a calibration set, then removes the lowest-scoring experts whole. It is one-shot: no retraining. Seed 42.
  • Calibration set: theblackcat102/evol-codealpaca-v1 (train split, shuffled, seed 42), 64 samples per category, batch size 1, max sequence length 2048 tokens.
  • Experts removed: 70% (77 of 256 kept).

We have not run task benchmarks on these checkpoints (MMLU, coding, multilingual). Test them on your own workload before relying on them.

License and credits

Derived from ATH-MaaS/Marco-Mini-Instruct and released under the same Apache 2.0 licence. What we changed: removed experts with REAP. Nothing else was modified or retrained. REAP is by Cerebras Research: paper, code. All credit for the base model goes to its authors.

Published by Kueizen.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3MoeForCausalLM
Ревизия весов
e98d540

0 моделей

    Создать бенчмарк