Характеристики

Контекст: 65 536 токенов
Параметры: 7 млрд
Размер весов: 16,6 ГБ
Лицензия: MIT
Архитектура: mimo_gdn · dense
Базовая модель: MiMo-7B-RL-0530
Опубликована: 11 авг 2026

Ссылки

mimo-7b-gdn-hybrid-400M-OPD

Генерация текстаТекст → текст8 профессий

Экспериментальная 7-миллиардная гибридная модель MiMo GDN для генерации текста и диалогов, дообученная на базе MiMo-7B-RL-0530.

17скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

arianraje/mimo-7b-gdn-hybrid-400M-OPD — экспериментальный чекпойнт MiMo для генерации текста и диалогов, созданный в рамках исследования преобразования моделей с полным вниманием в гибридные модели GDN (gated DeltaNet) с сохранением части слоёв полного внимания. Это снимок Stage-3 OPD после обучения на 403,27 млн сгенерированных токенов; базой и учителем служила XiaomiMiMo/MiMo-7B-RL-0530, 7-миллиардная языковая модель Xiaomi для математических и программных рассуждений, дообученная с подкреплением.

Модель использует плотную архитектуру MiMoGDNForCausalLM с линейным вниманием и контекстом до 65 536 токенов. В карточке приведены результаты GSM8K и RULER-lite, включая извлечение ключевой информации из длинного контекста. Для загрузки требуется зарегистрировать пользовательскую архитектуру mimo_gdn; стандартный AutoModelForCausalLM не подходит, а для обслуживания через vLLM нужна отдельная регистрация. Репозиторий распространяется в формате safetensors по лицензии MIT.

Сценарии применения

ответы на математические задачи и примеры уровня GSM8K
генерация диалоговых ответов
поиск ключевой информации в длинном текстовом контексте
эксперименты с гибридной архитектурой GDN и линейным вниманием

Ограничения

Для загрузки необходима регистрация пользовательской архитектуры mimo_gdn; стандартный AutoModelForCausalLM не работает. Качество описано экспериментальными оценками GSM8K и RULER-lite, без сведений о других сценариях.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mimo-7b-gdn-hybrid-400M-OPD

Stage-3 OPD @ 400M generated tokens — the H=16K MiMo control extended from 200M to 403.27M tokens (WSD schedule: flat 1e-5 to ~340M, 482-step linear decay to 0). Snapshot final of run mimo-rugfix-h200x3-ext200-decay0-v1 (W&B project mimo-gdn-linearization). Evals in full_eval/: GSM8K@1024 strict 0.58908 / flexible 0.67703; RULER-lite n=100 seed 0: niah_multikey@32768 0.82, niah_single 1.00 at all lengths; AIME'24/'25 (think) included when complete.

Part of the MiMo second-model arm of a study converting full-attention models into GDN (gated DeltaNet) hybrids (uniform 1:4 retention) and recovering capability via staged distillation + on-policy distillation. Teacher/base: MiMo-7B-RL-0530.

NOTE: these checkpoints use the custom mimo_gdn architecture — register it before loading (import src.models.mimo_gdn from the project repo, or use the load_causal_lm helper in src/eval/sample_generations.py). Bare AutoModelForCausalLM will not work. vLLM serving needs src.models.vllm_mimo_gdn.register().

Sibling checkpoints: mimo-7b-gdn-hybrid-200M-OPD (base 200M control), and -500M/-600M-OPD from the H=32K branch when it completes.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура mimo_gdn неизвестна transformers в образе рантайма.

Класс архитектуры: MiMoGDNForCausalLM
Ревизия весов: e736ff7