DeepSeek-Coder-V2-Lite-Instruct-GGUF — квантизированная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek-AI и подготовленной в формате GGUF компанией Second State Inc.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для запуска через GaiaNet и совместима с шаблоном запросов deepseek-chat-2.
Модель ориентирована на задачи, связанные с программированием и обработкой инструкций. В README указано, что она основана на архитектуре deepseek и поддерживает контекст размером до 128 000 токенов. Дополнительные сведения о размере модели, языках программирования и поддерживаемых модальностях не приведены; по имеющимся данным, модель относится к текстовым, а не мультимодальным решениям.
К преимуществам относятся большой контекст и возможность локального запуска в формате GGUF через экосистему GaiaNet. К ограничениям относятся отсутствие в README подробных характеристик качества, перечня языков, требований к ресурсам и результатов бенчмарков. Модель распространяется по лицензии deepseek-license; тип лицензии обозначен как other, поэтому перед использованием следует ознакомиться с условиями файла LICENSE.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct
Prompt template
prompt template: deepseek-chat-2
Context size
chat_ctx_size: 128000
Run with GaiaNet
Quick start: https://docs.gaianet.ai/node-guide/quick-start
Customize your node: https://docs.gaianet.ai/node-guide/customize
Quatized with llama.cpp b3212
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
Модели нужен код из репозитория; запуск откроется после проверки совместимости.