Характеристики

Контекст: 131 072 токена
Параметры: 495 млн
Лицензия: Своя лицензия
Архитектура: llama · dense
Базовая модель: Llama-3.2-3B-Instruct
Библиотека: transformers
Опубликована: 10 авг 2026

Ссылки

Hugging Face

llama-3.2-3b-instruct-eagle3-sharegpt-sw512-epoch9-step231810

huluhuluu

Генерация текстаТекст → текст3 профессии

Черновая модель EAGLE3 для speculative decoding, которая ускоряет генерацию целевой модели Llama-3.2-3B-Instruct.

2 004скачиваний за 30 дней0лайковвеса обновлены19 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная черновая модель EAGLE3 на архитектуре Llama, разработанная для ускорения генерации текста методом speculative decoding вместе с целевой моделью meta-llama/Llama-3.2-3B-Instruct. Она предлагает кандидаты токенов, которые целевая модель проверяет; самостоятельно как обычная языковая модель не предназначена для использования. Контрольная точка получена обучением SpecForge EAGLE3 на данных ShareGPT, имеет 494,7 млн параметров и нативный контекст 131 072 токена.

Для загрузки требуется совместимый код SpecForge/EAGLE3. Указана лицензия other; карточка не содержит конкретных заявлений о производительности или бенчмарках.

Сценарии применения

ускорение генерации текста с Llama-3.2-3B-Instruct
спекулятивное декодирование в совместимом стеке SpecForge/EAGLE3
эксперименты с черновыми моделями для авторегрессионной генерации

Ограничения

Модель не является самостоятельной целевой языковой моделью и требует совместимого кода SpecForge/EAGLE3 и указанной целевой модели. В карточке не приведены результаты бенчмарков; лицензия обозначена как other.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Llama-3.2 3b Instruct EAGLE3 ShareGPT SW512

This repository contains a SpecForge EAGLE3 draft-model checkpoint for use with meta-llama/Llama-3.2-3B-Instruct. It is a draft model for speculative decoding, not a standalone target language model.

Checkpoint

Field	Value
Source run	`llama3.2-3b-inst-eagle3-sharegpt-sw512`
Checkpoint	`epoch_9_step_231810`
Epoch	`9`
Global step	`231810`
Files	`config.json`, `model.safetensors`, `training_state.pt` (when present)

Training Parameters

Parameter	Value
Base model	`meta-llama/Llama-3.2-3B-Instruct`
Method	`SpecForge EAGLE3 online training`
Training data	`sharegpt_train_clean.jsonl`
Learning rate	`0.0001`
Batch size	`1`
Target batch size	`1`
Epochs configured	`10`
Max length	`2048`
Warmup ratio	`0.015`
Max grad norm	`0.5`
TTT length	`7`
Draft layers	`Not recorded`
Draft sliding window	`512`
Save interval	`5000`
Eval interval	`5000`
Seed	`0`
TP / DP size	`1 / 4`
Attention backend	`sdpa`
Target model backend	`sglang`
SGLang attention backend	`flashinfer`
Dataset build workers	`64`

Draft Model Configuration

Field	Value
Architecture	`LlamaForCausalLMEagle3`
dtype	`bfloat16`
Hidden size	`3072`
Intermediate size	`8192`
Draft layers	`1`
Attention heads	`24`
KV heads	`8`
Draft vocab size	`32000`
Vocab size	`128256`
Max position embeddings	`131072`
Sliding window	`512`
Max window layers	`Not recorded`
Future hidden	`Not recorded`

Notes

This is the highest-step local checkpoint available when this repository was published.
The checkpoint is intended to be loaded by SpecForge/EAGLE3-compatible code.
training_state.pt is included when available for provenance and training-state inspection.
No benchmark claim is made in this card.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLMEagle3
Ревизия весов: cd39ddc