Характеристики

Лицензия: Своя лицензия
Опубликована: 24 апр 2024

Ссылки

deepseek-coder-1.3b-instruct-imatrix-GGUF

Генерация текстаТекст → текст8 профессий

DeepSeek Coder 1.3B Instruct — это набор квантованных версий модели deepseek-ai/deepseek-coder-1.3b-instruct, подготовленных в формате GGUF с использованием imatrix.

1 758скачиваний за 30 дней0лайковвеса обновлены26 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и прежде всего ориентирована на задачи программирования: написание, дополнение и объяснение кода, включая запросы на реализацию алгоритмов, например быстрой сортировки на Python. Поддерживаемый язык в карточке указан как английский.

Известный размер исходной модели — 1,3 млрд параметров. Это instruction-tuned causal language model с поддержкой диалогового шаблона; конкретные варианты квантования, архитектурные детали и размер контекста в README не указаны. К сильным сторонам относятся специализация на коде и возможность использования более компактных квантованных сборок в GGUF-совместимых средствах инференса. Ограничения — небольшой по современным меркам размер, потенциальное снижение качества из-за квантования и отсутствие подтверждённых сведений о качестве, дополнительных языках и контекстном окне. Лицензия указана как other, без дополнительных условий в представленном README.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Quantizations of https://huggingface.co/deepseek-ai/deepseek-coder-1.3b-instruct

From original readme

3. How to Use

Here give some examples of how to use our model.

Chat Model Inference

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-coder-1.3b-instruct", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-coder-1.3b-instruct", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
messages=[
    { 'role': 'user', 'content': "write a quick sort algorithm in python."}
]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
# tokenizer.eos_token_id is the id of <|EOT|> token
outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True))

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: df4de50