/ Модель
Каталог

Характеристики

Контекст
163 840 токенов
Параметры
18,1 млрд
Лицензия
Своя лицензия
Архитектура
deepseek_v2 · dense
Базовая модель
DeepSeek-Coder-V2-Instruct
Опубликована
4 авг 2024

Ссылки

Hugging Face

DeepSeek-Coder-V2-Instruct-GGUF

second-state
Генерация текстаТекст → текст11 профессий

DeepSeek-Coder-V2-Instruct-GGUF — это GGUF-квантизированная версия модели DeepSeek-Coder-V2-Instruct, разработанной DeepSeek-ai и подготовленной для квантизации компанией Second State Inc.

966скачиваний за 30 дней1лайквеса обновлены6 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена прежде всего для генерации и обработки программного кода, а также для диалогового взаимодействия в формате instruct.

В README указана поддержка контекста до 128 000 токенов и запуск через LlamaEdge версии 0.12.3 или новее с шаблоном prompt-типа deepseek-chat-2. Доступны варианты с квантизацией Q2_K, Q3_K и другие GGUF-варианты с различными уровнями точности и размерами файлов. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать по качеству; для Q2_K и Q3_K это прямо отмечено в описании.

Модель ориентирована на локальное или встраиваемое использование через совместимые инструменты GGUF и LlamaEdge. Данные о точной архитектуре, числе параметров, поддерживаемых языках программирования и естественных языках, модальностях, результатах тестирования и системных требованиях в представленном README не указаны. Использование регулируется лицензией DeepSeek, обозначенной как deepseek-license; в метаданных указана лицензия other.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764моделиII.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DeepSeek-Coder-V2-Instruct-GGUF

Original Model

deepseek-ai/DeepSeek-Coder-V2-Instruct

Run with LlamaEdge

  • LlamaEdge version: v0.12.3 and above

  • Prompt template

    • Prompt type: deepseek-chat-2

    • Prompt string

      <|begin_of_sentence|>{system_message}

User: {user_message_1}

Assistant: {assistant_message_1}<|end_of_sentence|>User: {user_message_2}

Assistant:

  • Context size: 128000

  • Run as LlamaEdge service

    wasmedge --dir .:. \
  --nn-preload default:GGML:AUTO:DeepSeek-Coder-V2-Instruct-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template deepseek-chat-2 \
  --ctx-size 128000 \
  --model-name DeepSeek-Coder-V2-Instruct

  • Run as LlamaEdge command app

    wasmedge --dir .:. \
  --nn-preload default:GGML:AUTO:DeepSeek-Coder-V2-Instruct-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template deepseek-chat-2 \
  --ctx-size 128000

Quantized GGUF Models

NameQuant methodBitsSizeUse case
DeepSeek-Coder-V2-Instruct-Q2_K-00001-of-00003.ggufQ2_K229.7 GBsmallest, significant quality loss - not recommended for most purposes
DeepSeek-Coder-V2-Instruct-Q2_K-00002-of-00003.ggufQ2_K229.8 GBsmallest, significant quality loss - not recommended for most purposes
DeepSeek-Coder-V2-Instruct-Q2_K-00002-of-00003.ggufQ2_K226.4 GBsmallest, significant quality loss - not recommended for most purposes
DeepSeek-Coder-V2-Instruct-Q3_K_L-00001-of-00005.ggufQ3_K_L329.8 GBsmall, substantial quality loss
DeepSeek-Coder-V2-Instruct-Q3_K_L-00002-of-00005.ggufQ3_K_L329.7 GBsmall, substantial quality loss
DeepSeek-Coder-V2-Instruct-Q3_K_L-00003-of-00005.ggufQ3_K_L329.9 GBsmall, substantial quality loss
DeepSeek-Coder-V2-Instruct-Q3_K_L-00004-of-00005.ggufQ3_K_L329.8 GBsmall, substantial quality loss
DeepSeek-Coder-V2-Instruct-Q3_K_L-00005-of-00005.ggufQ3_K_L33.14 GBsmall, substantial quality loss
DeepSeek-Coder-V2-Instruct-Q3_K_M-00001-of-00004.ggufQ3_K_M329.6 GBvery small, high quality loss
DeepSeek-Coder-V2-Instruct-Q3_K_M-00002-of-00004.ggufQ3_K_M329.5 GBvery small, high quality loss
DeepSeek-Coder-V2-Instruct-Q3_K_M-00003-of-00004.ggufQ3_K_M329.8 GBvery small, high quality loss
DeepSeek-Coder-V2-Instruct-Q3_K_M-00004-of-00004.ggufQ3_K_M323.8 GBvery small, high quality loss
DeepSeek-Coder-V2-Instruct-Q3_K_S-00001-of-00004.ggufQ3_K_S329.9 GBvery small, high quality loss
DeepSeek-Coder-V2-Instruct-Q3_K_S-00002-of-00004.ggufQ3_K_S329.7 GBvery small, high quality loss
DeepSeek-Coder-V2-Instruct-Q3_K_S-00003-of-00004.ggufQ3_K_S329.6 GBvery small, high quality loss
DeepSeek-Coder-V2-Instruct-Q3_K_S-00004-of-00004.ggufQ3_K_S312.5 GBvery small, high quality loss
DeepSeek-Coder-V2-Instruct-Q4_0-00001-of-00005.ggufQ4_0430.0 GBlegacy; small, very high quality loss - prefer using Q3_K_M
DeepSeek-Coder-V2-Instruct-Q4_0-00002-of-00005.ggufQ4_0429.9 GBlegacy; small, very high quality loss - prefer using Q3_K_M
DeepSeek-Coder-V2-Instruct-Q4_0-00003-of-00005.ggufQ4_0429.8 GBlegacy; small, very high quality loss - prefer using Q3_K_M
DeepSeek-Coder-V2-Instruct-Q4_0-00004-of-00005.ggufQ4_0429.9 GBlegacy; small, very high quality loss - prefer using Q3_K_M
DeepSeek-Coder-V2-Instruct-Q4_0-00005-of-00005.ggufQ4_0413.3 GBlegacy; small, very high quality loss - prefer using Q3_K_M
DeepSeek-Coder-V2-Instruct-Q4_K_M-00001-of-00005.ggufQ4_K_M429.7 GBmedium, balanced quality - recommended
DeepSeek-Coder-V2-Instruct-Q4_K_M-00002-of-00005.ggufQ4_K_M429.7 GBmedium, balanced quality - recommended
DeepSeek-Coder-V2-Instruct-Q4_K_M-00003-of-00005.ggufQ4_K_M429.7 GBmedium, balanced quality - recommended
DeepSeek-Coder-V2-Instruct-Q4_K_M-00004-of-00005.ggufQ4_K_M429.6 GBmedium, balanced quality - recommended
DeepSeek-Coder-V2-Instruct-Q4_K_M-00005-of-00005.ggufQ4_K_M423.8 GBmedium, balanced quality - recommended
DeepSeek-Coder-V2-Instruct-Q4_K_S-00001-of-00005.ggufQ4_K_S429.6 GBsmall, greater quality loss
DeepSeek-Coder-V2-Instruct-Q4_K_S-00002-of-00005.ggufQ4_K_S429.8 GBsmall, greater quality loss
DeepSeek-Coder-V2-Instruct-Q4_K_S-00003-of-00005.ggufQ4_K_S429.9 GBsmall, greater quality loss
DeepSeek-Coder-V2-Instruct-Q4_K_S-00004-of-00005.ggufQ4_K_S429.8 GBsmall, greater quality loss
DeepSeek-Coder-V2-Instruct-Q4_K_S-00005-of-00005.ggufQ4_K_S414.8 GBsmall, greater quality loss
DeepSeek-Coder-V2-Instruct-Q5_0-00001-of-00006.ggufQ5_0529.4 GBlegacy; medium, balanced quality - prefer using Q4_K_M
DeepSeek-Coder-V2-Instruct-Q5_0-00002-of-00006.ggufQ5_0529.2 GBlegacy; medium, balanced quality - prefer using Q4_K_M
DeepSeek-Coder-V2-Instruct-Q5_0-00003-of-00006.ggufQ5_0530.0 GBlegacy; medium, balanced quality - prefer using Q4_K_M
DeepSeek-Coder-V2-Instruct-Q5_0-00004-of-00006.ggufQ5_0529.2 GBlegacy; medium, balanced quality - prefer using Q4_K_M
DeepSeek-Coder-V2-Instruct-Q5_0-00005-of-00006.ggufQ5_0529.2 GBlegacy; medium, balanced quality - prefer using Q4_K_M
DeepSeek-Coder-V2-Instruct-Q5_0-00006-of-00006.ggufQ5_0515.4 GBlegacy; medium, balanced quality - prefer using Q4_K_M
DeepSeek-Coder-V2-Instruct-Q5_K_M-00001-of-00006.ggufQ5_K_M529.7 GBlarge, very low quality loss - recommended
DeepSeek-Coder-V2-Instruct-Q5_K_M-00002-of-00006.ggufQ5_K_M529.7 GBlarge, very low quality loss - recommended
DeepSeek-Coder-V2-Instruct-Q5_K_M-00003-of-00006.ggufQ5_K_M529.7 GBlarge, very low quality loss - recommended
DeepSeek-Coder-V2-Instruct-Q5_K_M-00004-of-00006.ggufQ5_K_M529.9 GBlarge, very low quality loss - recommended
DeepSeek-Coder-V2-Instruct-Q5_K_M-00005-of-00006.ggufQ5_K_M529.9 GBlarge, very low quality loss - recommended
DeepSeek-Coder-V2-Instruct-Q5_K_M-00006-of-00006.ggufQ5_K_M518.3 GBlarge, very low quality loss - recommended
DeepSeek-Coder-V2-Instruct-Q5_K_S-00001-of-00006.ggufQ5_K_S529.4 GBlarge, low quality loss - recommended
DeepSeek-Coder-V2-Instruct-Q5_K_S-00002-of-00006.ggufQ5_K_S529.2 GBlarge, low quality loss - recommended
DeepSeek-Coder-V2-Instruct-Q5_K_S-00003-of-00006.ggufQ5_K_S530.0 GBlarge, low quality loss - recommended
DeepSeek-Coder-V2-Instruct-Q5_K_S-00004-of-00006.ggufQ5_K_S529.2 GBlarge, low quality loss - recommended
DeepSeek-Coder-V2-Instruct-Q5_K_S-00005-of-00006.ggufQ5_K_S529.2 GBlarge, low quality loss - recommended
DeepSeek-Coder-V2-Instruct-Q5_K_S-00006-of-00006.ggufQ5_K_S515.4 GBlarge, low quality loss - recommended
DeepSeek-Coder-V2-Instruct-Q6_K-00001-of-00007.ggufQ6_K629.6 GBvery large, extremely low quality loss
DeepSeek-Coder-V2-Instruct-Q6_K-00002-of-00007.ggufQ6_K629.0 GBvery large, extremely low quality loss
DeepSeek-Coder-V2-Instruct-Q6_K-00003-of-00007.ggufQ6_K629.5 GBvery large, extremely low quality loss
DeepSeek-Coder-V2-Instruct-Q6_K-00004-of-00007.ggufQ6_K629.3 GBvery large, extremely low quality loss
DeepSeek-Coder-V2-Instruct-Q6_K-00005-of-00007.ggufQ6_K629.3 GBvery large, extremely low quality loss
DeepSeek-Coder-V2-Instruct-Q6_K-00006-of-00007.ggufQ6_K629.3 GBvery large, extremely low quality loss
DeepSeek-Coder-V2-Instruct-Q6_K-00007-of-00007.ggufQ6_K617.3 GBvery large, extremely low quality loss
DeepSeek-Coder-V2-Instruct-Q8_0-00001-of-00009.ggufQ8_0829.7 GBvery large, extremely low quality loss - not recommended
DeepSeek-Coder-V2-Instruct-Q8_0-00002-of-00009.ggufQ8_0829.6 GBvery large, extremely low quality loss - not recommended
DeepSeek-Coder-V2-Instruct-Q8_0-00003-of-00009.ggufQ8_0829.6 GBvery large, extremely low quality loss - not recommended
DeepSeek-Coder-V2-Instruct-Q8_0-00004-of-00009.ggufQ8_0829.6 GBvery large, extremely low quality loss - not recommended
DeepSeek-Coder-V2-Instruct-Q8_0-00005-of-00009.ggufQ8_0829.6 GBvery large, extremely low quality loss - not recommended
DeepSeek-Coder-V2-Instruct-Q8_0-00006-of-00009.ggufQ8_0829.6 GBvery large, extremely low quality loss - not recommended
DeepSeek-Coder-V2-Instruct-Q8_0-00007-of-00009.ggufQ8_0829.6 GBvery large, extremely low quality loss - not recommended
DeepSeek-Coder-V2-Instruct-Q8_0-00008-of-00009.ggufQ8_0829.6 GBvery large, extremely low quality loss - not recommended
DeepSeek-Coder-V2-Instruct-Q8_0-00009-of-00009.ggufQ8_0814.0 GBvery large, extremely low quality loss - not recommended
DeepSeek-Coder-V2-Instruct-f16-00001-of-00017.gguff161629.5 GB
DeepSeek-Coder-V2-Instruct-f16-00002-of-00017.gguff161629.3 GB
DeepSeek-Coder-V2-Instruct-f16-00003-of-00017.gguff161628.9 GB
DeepSeek-Coder-V2-Instruct-f16-00004-of-00017.gguff161629.3 GB
DeepSeek-Coder-V2-Instruct-f16-00005-of-00017.gguff161629.3 GB
DeepSeek-Coder-V2-Instruct-f16-00006-of-00017.gguff161628.9 GB
DeepSeek-Coder-V2-Instruct-f16-00007-of-00017.gguff161629.3 GB
DeepSeek-Coder-V2-Instruct-f16-00008-of-00017.gguff161629.3 GB
DeepSeek-Coder-V2-Instruct-f16-00009-of-00017.gguff161628.9 GB
DeepSeek-Coder-V2-Instruct-f16-00010-of-00017.gguff161629.3 GB
DeepSeek-Coder-V2-Instruct-f16-00011-of-00017.gguff161629.3 GB
DeepSeek-Coder-V2-Instruct-f16-00012-of-00017.gguff161628.5 GB
DeepSeek-Coder-V2-Instruct-f16-00013-of-00017.gguff161629.7 GB
DeepSeek-Coder-V2-Instruct-f16-00014-of-00017.gguff161629.3 GB
DeepSeek-Coder-V2-Instruct-f16-00015-of-00017.gguff161628.9 GB
DeepSeek-Coder-V2-Instruct-f16-00016-of-00017.gguff161629.3 GB
DeepSeek-Coder-V2-Instruct-f16-00017-of-00017.gguff16165.03 GB

Quatized with llama.cpp b3499

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

Модели нужен код из репозитория; запуск откроется после проверки совместимости.

Класс архитектуры
DeepseekV2ForCausalLM
Ревизия весов
07e3032

0 моделей

    Создать бенчмарк