Характеристики

Контекст: 32 768 токенов
Параметры: 7 млрд
Лицензия: MIT
Архитектура: mimo · dense
Библиотека: transformers
Опубликована: 14 ноя 2025

Ссылки

MiMo-7B-MTPs

ЭмбеддингиТекст → embedding3 профессии

Дополнительные предварительно обученные MTP-слои Xiaomi для MiMo-7B, предназначенные для экспериментов с ускорением speculative decoding.

172скачиваний за 30 дней8лайковвеса обновлены14 ноя 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MiMo-7B-MTPs — опубликованный Xiaomi набор предварительно обученных весов дополнительных слоёв MTP для языковой модели MiMo-7B. Репозиторий содержит параметры слоёв `model.mtp_layers.1` и `model.mtp_layers.2`; в исходной модели MiMo-7B уже есть один MTP-слой. Эти веса предназначены для экспериментов с ускорением speculative decoding, в том числе при rollout в обучении с подкреплением. Модель имеет плотную архитектуру MiMoMTPModel на 7 млрд параметров, принимает текст и рассчитана на контекст до 32 768 токенов. В README не заявлена поддержка конкретных языков.

Весам требуется базовая модель MiMo-7B; сами по себе они не являются полноценной самостоятельной чат-моделью. Xiaomi сообщает, что не проверяла производительность постобученных моделей с двумя дополнительными предварительно обученными слоями MTP. Репозиторий распространяется по лицензии MIT.

Сценарии применения

эксперименты с ускорением speculative decoding
подключение дополнительных MTP-слоёв к MiMo-7B
ускорение rollout при обучении языковой модели с подкреплением

Ограничения

Для использования нужны веса базовой MiMo-7B и совместимая загрузка MTP-слоёв. Xiaomi не проверяла производительность постобученных моделей с двумя дополнительными предварительно обученными MTP-слоями.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model repository is licensed under the MIT License.

I. Pretrained MTPs of MiMo-7B

This model repository contains the pretrained MTP weights of MiMo-7B (model.mtp_layers.1 and model.mtp_layers.2)

Currently, MiMo-7B model each has 1 MTP layer (model.mtp_layers.0). Users may load the weights of pretrained MTPs for potential rollout speedup (please refer to Power Up Speculative Decoding In Reinforcement Learning).

[!IMPORTANT] We tuned 1 MTP layer in SFT and freeze it in RL, and we HAVE NOT test the performance of posttrained models with 2 more pretrained MTP layers.

II. Contact

Please contact us at mimo@xiaomi.com or open an issue if you have any questions.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: MiMoMTPModel
Ревизия весов: 791db75