Характеристики

Базовая модель: DeepSeek-R1-Distill-Qwen-14B
Библиотека: transformers
Опубликована: 20 янв 2025

Ссылки

DeepSeek-R1-Distill-Qwen-14B-Q4_K_M-GGUF

Генерация текстаТекст → текст15 профессий

DeepSeek-R1-Distill-Qwen-14B-Q4_K_M-GGUF — это квантованная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной организацией deepseek-ai и опубликованной в формате GGUF пользователем Andrew Webby из RolePlai.

803скачиваний за 30 дней2лайкавеса обновлены20 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста, диалоговых сценариев, ролевого общения, а также задач программирования и математики; она может использоваться в приложениях на базе llama.cpp.

Модель основана на архитектуре Qwen, имеет размер 14 млрд параметров и поддерживает текстовый ввод и вывод. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полной версией, что делает модель более подходящей для локального запуска, однако может снижать точность по сравнению с исходными весами. В README не указаны поддерживаемые языки, размер контекстного окна, точные требования к оборудованию, результаты тестирования и ограничения качества.

Файл модели имеет формат GGUF, не использует imatrix и не разделён на части. Лицензия и условия использования в предоставленных данных не указаны.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

roleplaiapp/DeepSeek-R1-Distill-Qwen-14B-Q4_K_M-GGUF

Repo: roleplaiapp/DeepSeek-R1-Distill-Qwen-14B-Q4_K_M-GGUF
Original Model: DeepSeek-R1-Distill-Qwen-14B Organization: deepseek-ai Quantized File: deepseek-r1-distill-qwen-14b-q4_k_m.gguf Quantization: GGUF Quantization Method: Q4_K_M
Use Imatrix: False
Split Model: False

Overview

This is an GGUF Q4_K_M quantized version of DeepSeek-R1-Distill-Qwen-14B.

Quantization By

I often have idle A100 GPUs while building/testing and training the RP app, so I put them to use quantizing models. I hope the community finds these quantizations useful.

Andrew Webby @ RolePlai

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 205ea84