DeepSeek-R1-Distill-Llama-70B-FP8

Исходную модель разработала DeepSeek; она создана методом дообучения открытой Llama 3.3 70B Instruct на данных, сгенерированных DeepSeek-R1, для усиления способностей к рассуждению. Модель предназначена для генерации текста, решения математических и логических задач, программирования, анализа и диалоговых сценариев.

Архитектура — LlamaForCausalLM с примерно 71 млрд параметров, 80 слоями, 64 attention heads и 8 key-value heads. Базовая версия поддерживает контекст до 131 072 токенов. Модель текстовая; конкретный набор языков и отдельные характеристики качества для репозитория Zuma Labs не документированы. Данный вариант распространяется в формате Safetensors с представлением FP8 E4M3 при заявленном размере около 71B параметров, что может снизить требования к памяти по сравнению с полноразмерными форматами, но требует совместимого программного и аппаратного стека.

Сильные стороны — развитое пошаговое рассуждение и возможности базовой Llama 3.3 70B Instruct. Ограничения включают высокие требования к вычислительным ресурсам, возможные ошибки и нестабильность ответов, а также отсутствие отдельной подробной карточки, тестов и описания ограничений именно для FP8-конверсии Zuma Labs. Для серии DeepSeek-R1 разработчик рекомендует температуру 0,5–0,7 и предупреждает о возможных повторениях или несвязном выводе при неподходящих настройках.

Код и веса серии DeepSeek-R1 заявлены под лицензией MIT, однако модель основана на Llama 3.3 70B Instruct, для которой действует исходная лицензия Llama 3.3; коммерческое использование и производные работы следует проверять с учётом условий обеих лицензий.