deepseek-r1-distill-llama-70b-awq

Исходную модель разработала DeepSeek-AI: она создана на базе Llama-3.3-70B-Instruct и дообучена на примерах рассуждений, сгенерированных DeepSeek-R1. Модель предназначена для текстовой генерации, диалогов и решения задач, особенно связанных с математикой, программированием и многошаговым рассуждением.

Архитектура — LlamaForCausalLM с примерно 71 млрд параметров, 80 слоями, 64 attention heads и 8 key-value heads. Репозиторий содержит веса в формате Safetensors с 4-битной AWQ-квантизацией; конфигурация указывает контекст до 131072 токенов и вычисления в bfloat16. Это текстовая, а не мультимодальная модель. Квантизация уменьшает требования к памяти и делает локальное развертывание практичнее, но может приводить к некоторой потере качества по сравнению с исходными весами; для полноценного запуска всё равно требуются значительные вычислительные ресурсы.

Исходная DeepSeek-R1-Distill-Llama-70B показывает сильные результаты в математике, кодировании и задачах рассуждения, однако официальные показатели относятся к исходной, а не обязательно к данной AWQ-версии. Репозиторий производной модели указывает лицензию MIT. При этом исходная модель базируется на Llama-3.3-70B-Instruct, для которой также действуют условия лицензии Llama 3.3.