/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
508 млн
Размер весов
31,2 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_moe · MoE
Базовая модель
Marco-Mini-Instruct
Библиотека
transformers
Опубликована
6 окт 2026

Ссылки

Hugging FacearXiv 2510.13999

Marco-Mini-Instruct-REAP10

kueizen
Генерация текстаТекст → текст

Разговорная мультиязычная MoE-модель с обрезанными методом REAP экспертами для генерации текста и выполнения инструкций.

169скачиваний за 30 дней0лайковвеса обновлены6 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Marco-Mini-Instruct-REAP10 — производная модель от ATH-MaaS/Marco-Mini-Instruct, созданная пользователем kueizen удалением 10% экспертов методом REAP. Это разговорная языковая модель архитектуры Qwen3 MoE: из 256 экспертов сохранён 231, обучение после обрезки не выполнялось. В README исходной модели указаны 17,3 млрд параметров и около 0,86 млрд активных параметров на токен, тогда как метаданные этой версии указывают 507,9 млн параметров; размер в этих источниках расходится.

Модель предназначена для диалогов и генерации текста. Её можно использовать для ответов на вопросы, рассуждений, перевода и других инструкционных задач; базовая модель описана как мультиязычная. Контекст составляет до 32 768 токенов. Репозиторий содержит полноточные веса bf16 в формате safetensors для запуска через Transformers, дообучения или последующей квантизации.

Автор не приводит результатов бенчмарков для этого чекпойнта, поэтому качество на конкретных задачах следует проверить отдельно. Лицензия — Apache-2.0.

Сценарии применения

  • диалоговый ассистент для ответов на вопросы
  • генерация текста по инструкциям
  • суммаризация длинных текстов в пределах контекста
  • многоязычный перевод
  • рассуждения и помощь с кодом

Ограничения

Для этой версии не опубликованы бенчмарки, поэтому её качество на конкретных задачах не установлено. Число параметров в README и метаданных расходится.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Marco-Mini-Instruct-REAP10

Marco-Mini-Instruct (17.3B total, ~0.86B active, 256 experts, 8 active per token) with 10% of its experts removed by REAP: 231 of 256 experts kept. These are the full-precision (bf16) safetensors weights, for fine-tuning, re-quantising or running with transformers.

For ready-to-run quantised files at every pruning ratio, see kueizen/Marco-Mini-Instruct-REAP-GGUF.

Load it

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "kueizen/Marco-Mini-Instruct-REAP10"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="auto", device_map="auto")

How this was made

  • Pruning: REAP (Router-weighted Expert Activation Pruning, Cerebras Research), using the reference implementation. REAP scores each expert by its router weight times the size of its output over a calibration set, then removes the lowest-scoring experts whole. It is one-shot: no retraining. Seed 42.
  • Calibration set: theblackcat102/evol-codealpaca-v1 (train split, shuffled, seed 42), 64 samples per category, batch size 1, max sequence length 2048 tokens.
  • Experts removed: 10% (231 of 256 kept).

We have not run task benchmarks on these checkpoints (MMLU, coding, multilingual). Test them on your own workload before relying on them.

License and credits

Derived from ATH-MaaS/Marco-Mini-Instruct and released under the same Apache 2.0 licence. What we changed: removed experts with REAP. Nothing else was modified or retrained. REAP is by Cerebras Research: paper, code. All credit for the base model goes to its authors.

Published by Kueizen.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3MoeForCausalLM
Ревизия весов
14a0189

0 моделей

    Создать бенчмарк