Характеристики

Контекст: 65 536 токенов
Параметры: 7 млрд
Размер весов: 16,6 ГБ
Лицензия: MIT
Архитектура: mimo_gdn · dense
Базовая модель: MiMo-7B-RL-0530
Опубликована: 13 авг 2026

Ссылки

mimo-7b-gdn-hybrid-600M-OPD

Генерация текстаТекст → текст6 профессий

Гибридная модель MiMo GDN на 7 млрд параметров для диалоговой генерации, математических рассуждений и работы с длинным контекстом.

13скачиваний за 30 дней0лайковвеса обновлены13 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mimo-7b-gdn-hybrid-600M-OPD — экспериментальная гибридная языковая модель семейства MiMo, разработанная в рамках исследования по преобразованию моделей с полным вниманием в гибриды с Gated DeltaNet. Это снимок этапа OPD после обучения на 600 млн сгенерированных токенов; в README указана базовая модель MiMo-7B-RL-0530 от Xiaomi, а метаданные классифицируют модель как её дообучение. Архитектура — MiMo GDN для причинной генерации текста, с чередованием механизмов внимания по схеме uniform 1:4; размер — 7 млрд параметров, контекст — 65 536 токенов.

Модель предназначена для диалоговой генерации и задач рассуждения, включая математику, а также для работы с длинным контекстом. В README приведены результаты на RULER-lite, AIME'24, AIME'25, MATH-500 и GSM8K; авторы отмечают улучшения на AIME, MATH и RULER относительно контрольного этапа, а снижение результата GSM8K связывают с возможным ограничением длины генерации и ожидают подтверждающий прогон. Для загрузки требуется поддержка пользовательской архитектуры mimo_gdn; стандартный AutoModelForCausalLM без её регистрации не подходит. Лицензия — MIT.

Сценарии применения

решение задач математических олимпиад
решение задач по математике с пошаговыми рассуждениями
диалоговые ответы на текстовые запросы
извлечение ответов из длинного контекста
оценка способности языковой модели удерживать сведения в длинном тексте

Ограничения

Для загрузки необходимо зарегистрировать пользовательскую архитектуру mimo_gdn; стандартный AutoModelForCausalLM не работает без такой регистрации. Результат GSM8K приведён с ограничением генерации в 1024 токена и, по оценке авторов, мог быть занижен; повторная проверка на 4096 токенах ожидается.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mimo-7b-gdn-hybrid-600M-OPD

Stage-3 OPD @ 600M generated tokens — the H=16K MiMo branch extended from the 400M control's pre-decay state (340.02M tokens, step 2265) to 600.03M tokens (WSD schedule: flat 1e-5 to ~536.8M, 482-step linear decay to 0). Snapshot final (step 3974) of run mimo-wsd-rugfix-h200x3-ext400-decay0-v1 (W&B project mimo-gdn-linearization). Evals in full_eval/: RULER-lite n=100 seed 0: niah_multikey@32768 0.84, niah_single 1.00 at all lengths, vt 0.966@32k; AIME'24 avg@8 (think@32k) 0.5125, AIME'25 0.3583; MATH-500 think 0.928; GSM8K@1024 strict 0.52995 (the dip vs 400M is a suspected 1024-token generation-cap artifact — chains lengthened through the decay tail; AIME/MATH/ RULER all improved — pending a @4096 confirmation rerun).

Part of the MiMo second-model arm of a study converting full-attention models into GDN (gated DeltaNet) hybrids (uniform 1:4 retention) and recovering capability via staged distillation + on-policy distillation. Teacher/base: MiMo-7B-RL-0530.

NOTE: these checkpoints use the custom mimo_gdn architecture — register it before loading (import src.models.mimo_gdn from the project repo, or use the load_causal_lm helper in src/eval/sample_generations.py). Bare AutoModelForCausalLM will not work. vLLM serving needs src.models.vllm_mimo_gdn.register().

Sibling checkpoints: mimo-7b-gdn-hybrid-200M-OPD (base control), -400M-OPD (H=16K control final), and -800M-OPD from the H=32K extension when it completes.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура mimo_gdn неизвестна transformers в образе рантайма.

Класс архитектуры: MiMoGDNForCausalLM
Ревизия весов: 0e24bae