deepseek-r1-distill-qwen-14b-awq

Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-14B и дообучена на образцах рассуждений, сгенерированных DeepSeek-R1. Модель предназначена для генерации текста и диалогов, а также задач, требующих рассуждений, включая математику, программирование и анализ сложных запросов.

Это text-only causal language model архитектуры Qwen2, примерно на 14 млрд параметров, представленная в формате Safetensors с 4-битной AWQ-квантизацией. В конфигурации указаны 48 слоёв, 40 attention heads, 8 key-value heads и максимальная длина последовательности до 131072 токенов. Модель поддерживает локальный запуск через совместимые инструменты, включая Transformers, vLLM и SGLang; квантизация снижает требования к памяти по сравнению с исходной версией.

Сильная сторона модели — сохранение возможностей дистиллированной R1-модели в существенно более компактном формате; для исходной 14B-версии DeepSeek указывает высокие результаты на математических, кодовых и reasoning-бенчмарках, включая AIME 2024, MATH-500, GPQA Diamond и LiveCodeBench. Ограничения включают возможную потерю качества из-за 4-битной квантизации, зависимость производительности от аппаратного обеспечения и программного стека, а также отсутствие заявленной мультимодальности. Репозиторий версии AWQ распространяется по лицензии MIT; для производной модели также следует учитывать условия лицензии исходной Qwen2.5.