Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
DeepSeek-R1-DRAFT-Qwen2.5-0.5B — компактная языковая модель alamios, дообученная на ответах DeepSeek-R1-Distill-Qwen-32B и предназначенная специально для спекулятивного декодирования в роли черновой модели. Она основана на плотной архитектуре Qwen2ForCausalLM семейства Qwen2.5, содержит 494,1 млн параметров и работает через Transformers; веса доступны в формате safetensors.
Модель рассчитана на ускорение генерации с DeepSeek-R1-Distill-Qwen-32B-Q4_K_M в GGUF на видеокартах уровня RTX 3090/4090. Автор указывает сценарий с контекстом 16 тыс. токенов и заявляет, что ускорение не сокращает длину контекста и не ухудшает качество основной модели. Обучение проведено в течение двух эпох на примерно 7 тыс. примеров, охватывающих код, математику, рассуждения и общие знания.
Это вспомогательная модель для speculative decoding, а не самостоятельная замена крупной модели: её следует использовать вместе с целевой моделью, для которой она подготовлена. Указанное в метаданных нативное окно контекста составляет 32 768 токенов, но README описывает целевой сценарий с 16 тыс. токенов. Лицензия — Apache-2.0; явно заявлен только английский язык.
Сценарии применения
ускорение генерации DeepSeek-R1-Distill-Qwen-32B через speculative decoding
использование как черновой модели для крупной языковой модели в GGUF
ускорение локального вывода на видеокартах RTX 3090 и RTX 4090
Ограничения
Модель предназначена для роли черновой модели в speculative decoding и требует целевой модели DeepSeek-R1-Distill-Qwen-32B; как самостоятельная замена ей не заявлена. Описание сценария автора ориентировано на контекст 16 тыс. токенов, хотя метаданные указывают нативный контекст 32 768 токенов.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
This model is trained on outputs of deepseek-ai/DeepSeek-R1-Distill-Qwen-32B and is meant to be used only as draft model for speculative decoding.
It's specifically intended for users of 3090/4090, allowing you to run the DeepSeek-R1-Distill-Qwen-32B-Q4_K_M GGUF version with 16k context and speeding up generation without sacrificing more context length or model quality.
Data info
The data consists of code, math, reasoning and general knowledge tasks collected from various datasets. It has been trained for 2 epochs on 7k unique examples, for a total of 26 million tokens per epoch.
Since data generation was done using spare GPU time, I may publish a further trained version later.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров