deepseek-r1-distill-qwen-32b-awq

Исходную модель разработала DeepSeek на базе Qwen2.5-32B от команды Qwen компании Alibaba Cloud; она дообучена на 800 тысячах образцов, отобранных с использованием DeepSeek-R1, и предназначена для генерации текста и задач, требующих рассуждений, включая математику, программирование и научные вопросы.

Модель является текстовой autoregressive language model с архитектурой Qwen2ForCausalLM и примерно 32 млрд параметров. В конфигурации указаны 64 слоя, 40 attention heads, 8 key-value heads, размер скрытого состояния 5120 и максимальная длина контекста 131072 токена. Репозиторий содержит веса Safetensors в формате AWQ с 4-битными группами размера 128 и типом вычислений bfloat16. Квантование существенно уменьшает требования к памяти и подходит для локального запуска, но может снижать точность по сравнению с исходной полноразмерной моделью; конкретные результаты тестирования этой AWQ-сборки в карточке модели не приведены.

Для модели casperhansen указана лицензия MIT. В карточке также отмечается, что исходная DeepSeek-R1-Distill-Qwen-32B поддерживает коммерческое использование, модификацию и создание производных работ, однако при практическом применении следует учитывать условия лицензий исходных компонентов и выбранного программного окружения.