/ Модель
Каталог

Характеристики

Контекст
32 768 токенов
Параметры
508 млн
Размер весов
21 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_moe · MoE
Базовая модель
Marco-Mini-Instruct
Библиотека
transformers
Опубликована
6 окт 2026

Ссылки

Hugging FacearXiv 2510.13999

Marco-Mini-Instruct-REAP40

kueizen
Генерация текстаТекст → текст

Мультиязычная чат-модель Qwen3 MoE с сокращённым методом REAP числом экспертов для генерации текста и диалогов.

174скачиваний за 30 дней0лайковвеса обновлены6 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Marco-Mini-Instruct-REAP40 — производная мультиязычной инструкционной модели ATH-MaaS/Marco-Mini-Instruct, опубликованная пользователем kueizen. Это причинная языковая модель семейства Qwen3 MoE для диалогов и генерации текста. В версии применено однократное удаление экспертов методом REAP: из 256 экспертов оставлено 154; переобучения после pruning не проводилось. В README указано 17,3 млрд общих и около 0,86 млрд активных параметров исходной модели, тогда как метаданные репозитория указывают 507,9 млн параметров для размещённой версии. Модель принимает текст и поддерживает контекст до 32 768 токенов.

Веса bf16 в формате safetensors предназначены для запуска через Transformers, дальнейшего дообучения или повторной квантизации. Подходит для диалогов, ответов на вопросы и других задач генерации текста. Лицензия — Apache-2.0. Разработчик не публиковал бенчмарки этих чекпойнтов, поэтому качество на конкретных задачах следует оценивать отдельно.

Сценарии применения

  • диалоговый ассистент
  • ответы на вопросы
  • генерация текстов по инструкциям
  • многоязычные текстовые запросы

Ограничения

Для этих чекпойнтов не опубликованы результаты бенчмарков; качество на целевых задачах следует проверять самостоятельно. В README и метаданных приведены разные значения общего числа параметров размещённой и исходной моделей.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Marco-Mini-Instruct-REAP40

Marco-Mini-Instruct (17.3B total, ~0.86B active, 256 experts, 8 active per token) with 40% of its experts removed by REAP: 154 of 256 experts kept. These are the full-precision (bf16) safetensors weights, for fine-tuning, re-quantising or running with transformers.

For ready-to-run quantised files at every pruning ratio, see kueizen/Marco-Mini-Instruct-REAP-GGUF.

Load it

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "kueizen/Marco-Mini-Instruct-REAP40"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="auto", device_map="auto")

How this was made

  • Pruning: REAP (Router-weighted Expert Activation Pruning, Cerebras Research), using the reference implementation. REAP scores each expert by its router weight times the size of its output over a calibration set, then removes the lowest-scoring experts whole. It is one-shot: no retraining. Seed 42.
  • Calibration set: theblackcat102/evol-codealpaca-v1 (train split, shuffled, seed 42), 64 samples per category, batch size 1, max sequence length 2048 tokens.
  • Experts removed: 40% (154 of 256 kept).

We have not run task benchmarks on these checkpoints (MMLU, coding, multilingual). Test them on your own workload before relying on them.

License and credits

Derived from ATH-MaaS/Marco-Mini-Instruct and released under the same Apache 2.0 licence. What we changed: removed experts with REAP. Nothing else was modified or retrained. REAP is by Cerebras Research: paper, code. All credit for the base model goes to its authors.

Published by Kueizen.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3MoeForCausalLM
Ревизия весов
d240c03

0 моделей

    Создать бенчмарк