deepseek-r1-distill-qwen-7b-awq

Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-7B и дообучена на синтетических данных, сгенерированных DeepSeek-R1, для усиления способностей к рассуждению.

Модель предназначена для текстовой генерации, диалогов и задач, требующих пошагового рассуждения, включая математику, программирование и ответы на вопросы. Это decoder-only модель архитектуры Qwen2ForCausalLM примерно с 7 млрд параметров, 28 слоями, 28 attention heads и контекстом до 131072 токенов. Она работает только с текстом; сведения о гарантированном наборе поддерживаемых языков в карточке этой версии не указаны.

Ключевое преимущество версии casperhansen — снижение требований к памяти благодаря 4-битной AWQ-квантизации с group size 128 и размеру файлов около 5,58 ГБ, что упрощает локальный запуск. Ограничения включают возможную потерю качества из-за квантизации, зависимость результатов от используемого inference-движка и промпта, а также отсутствие в карточке подробных бенчмарков, описания безопасности и заявленных гарантий качества для разных языков. Репозиторий распространяется по лицензии MIT; для производных моделей также следует учитывать условия лицензии исходной модели Qwen.