Характеристики

Лицензия: Своя лицензия
Опубликована: 30 апр 2024

Ссылки

deepseek-coder-6.7b-instruct-imatrix-GGUF

Генерация текстаТекст → текст10 профессий

duyntnet/deepseek-coder-6.7b-instruct-imatrix-GGUF — набор квантованных версий модели deepseek-ai/deepseek-coder-6.7b-instruct, опубликованный пользователем или организацией duyntnet.

1 277скачиваний за 30 дней0лайковвеса обновлены30 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это инструкционно настроенная генеративная языковая модель для работы с текстом и программным кодом, включая сценарии создания и объяснения кода. В README приведён пример генерации алгоритма быстрой сортировки на Python в формате диалога.

Модель имеет размер 6,7 млрд параметров и распространяется в формате GGUF с использованием imatrix-квантизации. Указан английский язык, однако дополнительные языковые возможности, длина контекста, конкретные варианты квантизации и требования к оборудованию в README не описаны. Формат предназначен для запуска совместимыми средствами инференса, но точные поддерживаемые инструменты также не указаны.

К сильным сторонам относятся специализация исходной модели на задачах программирования, инструкционное обучение и наличие квантованных вариантов, потенциально уменьшающих требования к памяти. Ограничения связаны с отсутствием подробных результатов оценки, сведений о качестве на конкретных языках и задачах, контекстном окне и характеристиках отдельных файлов. Лицензия обозначена как other; её конкретные условия в README не приведены.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Quantizations of https://huggingface.co/deepseek-ai/deepseek-coder-6.7b-instruct

From original readme

3. How to Use

Here give some examples of how to use our model.

Chat Model Inference

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-coder-6.7b-instruct", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-coder-6.7b-instruct", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
messages=[
    { 'role': 'user', 'content': "write a quick sort algorithm in python."}
]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
# tokenizer.eos_token_id is the id of <|EOT|> token
outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True))

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: fcf3cdc