Производная модели huluhuluu/qwen3-1p7b-eagle3-sharegpt-sw768-epoch-9-step-460000. Черновая модель EAGLE3 для ускорения генерации Qwen3-1.7B методом speculative decoding.
49скачиваний за 30 дней0лайковвеса обновлены21 авг 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
1
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
2
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
3
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Карточка модели huluhuluu/qwen3-1.7b-eagle3-sharegpt-sw768-epoch9-step460000 на Hugging Face совпадает с карточкой huluhuluu/qwen3-1p7b-eagle3-sharegpt-sw768-epoch-9-step-460000, поэтому описание составлено по ней.
Это контрольная точка черновой модели EAGLE3, обученной командой SpecForge для ускорения генерации текста методом speculative decoding вместе с базовой моделью Qwen/Qwen3-1.7B. Она не предназначена для самостоятельной генерации: совместимый код SpecForge/EAGLE3 использует её для предложения черновых токенов, которые проверяет целевая модель.
Модель обучалась онлайн методом SpecForge EAGLE3 на данных ShareGPT; указаны девятая эпоха и шаг 460000. Архитектура — LlamaForCausalLMEagle3, размер чекпойнта по метаданным — 361,5 млн параметров, формат весов — safetensors, тип данных — bfloat16. Контекст составляет 40 960 токенов; заявлены английский и китайский языки. Веса замороженных эмбеддингов целевой модели в чекпойнт не входят и загружаются из базовой модели.
Модель подходит для speculative decoding с Qwen3-1.7B в совместимой среде; карточка не приводит результатов бенчмарков. Лицензия указана как other, поэтому условия использования следует проверять в карточке репозитория и у базовой модели.
Сценарии применения
ускорение генерации текста с Qwen3-1.7B через speculative decoding
предложение черновых токенов для проверки целевой языковой моделью
интеграция EAGLE3 в совместимый стек SpecForge
Ограничения
Модель не является самостоятельной языковой моделью и требует целевую Qwen/Qwen3-1.7B и совместимый загрузчик SpecForge/EAGLE3; веса целевых эмбеддингов исключены из чекпойнта. Карточка не содержит заявлений о результатах бенчмарков, а лицензия обозначена как other.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This repository contains a SpecForge EAGLE3 draft-model checkpoint for use with Qwen/Qwen3-1.7B.
It is a draft model for speculative decoding, not a standalone target language model.
Checkpoint
Field
Value
Source run
qwen3-1.7b-eagle3-sharegpt-sw768
Checkpoint
epoch_9_step_460000
Epoch
9
Global step
460000
Files
config.json, model.safetensors, training_state.pt
Training Parameters
Parameter
Value
Base model
Qwen/Qwen3-1.7B
Method
SpecForge EAGLE3 online training
Framework revision
9fbbde8ab5d6ee69fb0af3701330027b8beca37a
Training data
sharegpt_train.jsonl
Learning rate
0.0001
Batch size
1
Epochs configured
10
Total scheduled steps
467800
Max length
2048
Warmup ratio
0.015
Max grad norm
0.5
TTT length
7
Draft accumulation steps
1
Draft sliding window
768
Save / eval interval
5000 / 5000
Seed
0
TP / DP size
1 / 2
Attention backend
sdpa
Target model backend
sglang
SGLang attention backend
flashinfer
Dataset build workers
16
Draft Model Configuration
Field
Value
Architecture
LlamaForCausalLMEagle3
dtype
bfloat16
Hidden size
2048
Intermediate size
6144
Draft layers
1
Attention heads
16
KV heads
8
Draft vocab size
32000
Vocab size
151936
Max position embeddings
40960
Sliding window
768
Max window layers
28
Notes
The checkpoint weights exclude the frozen target embedding weights; SpecForge loads them from the target model.
The checkpoint is intended to be loaded by SpecForge/EAGLE3-compatible code.
training_state.pt is included for provenance and training-state inspection.
No benchmark claim is made in this card.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров