MiniMax-M3-EAGLE3-GQA

Inferact/MiniMax-M3-EAGLE3-GQA — черновая модель EAGLE3, разработанная Inferact для ускорения инференса MiniMax-M3 с помощью спекулятивного декодирования. Это плотная однослойная архитектура Llama с групповым запросно-ключевым вниманием (GQA), 1,6 млрд параметров и контекстом до 1 048 576 токенов. При обслуживании через vLLM модель использует общие с целевой моделью эмбеддинги и выходную голову; обучение выполнено с TorchSpec на тех же данных, что и вариант с MHA, включая kimi-mtp, OpenCodeInstruct, SWE-bench и SWE-bench-Pro.

Замена MHA на GQA сокращает KV-кэш черновой модели в 16 раз и обеспечивает совместимость с целевой MiniMax-M3. В измерениях из карточки на MT-Bench средняя длина принятого фрагмента составила 2,668 токена, а доля принятых черновых токенов — 55,62%; результаты зависят от набора данных и конфигурации запуска. Модель предназначена для использования вместе с MiniMax-M3 в vLLM, а не как самостоятельный универсальный генератор. Лицензия — MIT.