Характеристики

Лицензия: MIT
Базовая модель: Kimi-K2.5
Опубликована: 25 июн 2026

Ссылки

Hugging Face

Kimi_K25_eagle3_v2_phase1_Lumen

Zhangdanyang

Языковая модель3 профессии

Черновая модель Eagle3 MTP, дообученная на основе Kimi-K2.5 для ускорения его инференса методом speculative decoding.

13скачиваний за 30 дней0лайковвеса обновлены25 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Zhangdanyang/Kimi_K25_eagle3_v2_phase1_Lumen — черновая модель Eagle3 MTP для ускорения инференса Kimi-K2.5, обученная LumenRL на 8 ускорителях AMD MI350. Её архитектура согласована с lightseekorg/kimi-k2.5-eagle3: однослойный Transformer с размером скрытого слоя 7168, промежуточным размером 12288, 64 головами и размерностью головы 128.

Модель предназначена для speculative decoding в связке с Kimi-K2.5: она предлагает черновые токены, которые основная модель проверяет, чтобы ускорить генерацию. В описании обучения указаны данные для визуально-языковых задач, китайского языка, вызова инструментов, агентных сценариев и письма. Репозиторий содержит веса safetensors и основан на дообучении moonshotai/Kimi-K2.5. Лицензия — MIT.

Сценарии применения

ускорение генерации ответов Kimi-K2.5
ускорение инференса в системах speculative decoding
ускорение агентных сценариев с вызовом инструментов

Ограничения

Модель предназначена для совместного использования с Kimi-K2.5 и не является самостоятельной универсальной моделью. README описывает обучение и архитектуру, но не приводит результатов бенчмарков скорости или качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Kimi-K2.5 Eagle3 Draft Model v2 (LumenRL, MI350)

Eagle3 MTP draft model for accelerating inference of Kimi-K2.5, trained with LumenRL on 8x AMD MI350 GPUs.

Architecture aligned with lightseekorg/kimi-k2.5-eagle3.

Training Setup

Hardware: 8x AMD MI350 (4 train + 4 inference)
Training: FSDP2 (float16), GPUs 0-3
Inference: vLLM (BF16), GPUs 4-7, TP=4
Transfer: Mooncake TCP
Draft: Eagle3, 1-layer Transformer (hidden_size=7168, intermediate_size=12288, num_heads=64, head_dim=128)

Training Phases

Phase 1 (Foundation): perfectblend subset, 111K steps (3 epochs)
Phase 2 (Mixed Domain): VL + Chinese + tool-call + agent + writing, 67,826 steps (3 epochs)

Final checkpoint at step 37000.

Architecture (matches reference)

attention_bias: false
rms_norm_eps: 1e-6
rope_theta: 1000000.0
rope_scaling: none
dtype: float16 (trained weights incl. lm_head), bfloat16 (embed_tokens from base model)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 02b10e9