/ Модель

Характеристики

Контекст
16 384 токена
Параметры
1,3 млрд
Размер весов
1,4 ГБ
Лицензия
MIT
Архитектура
llama · dense
Опубликована
25 фев 2024

deepseek-coder-1.3b_base_ov_int8

Генерация текстаТекст → текст4 профессии

Квантованная версия DeepSeek-Coder-1.3B для генерации, заполнения пропусков и автодополнения кода в OpenVINO.

82скачиваний за 30 дней7лайковвеса обновлены22 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Intel опубликовала версию DeepSeek-Coder-1.3B-Base, преобразованную в формат OpenVINO IR и оптимизированную с помощью Optimum CLI с INT8-квантованием весов. Это плотная авторегрессионная модель семейства LLaMA с 1,3 млрд параметров и контекстом 16 384 токена, предназначенная для генерации и дополнения кода. Она обучена на корпусе кода уровня проектов и поддерживает заполнение пропусков в коде, завершение фрагментов и дополнение с учётом репозитория; в карточке указано применение для автодополнения кода в Visual Studio Code через расширение OpenVINO Code Completion.

Основной язык — английский. Лицензия — MIT с дополнительными ограничениями использования, перечисленными в карточке исходной модели; перед внедрением следует свериться с LICENSE-MODEL.

Сценарии применения

  • автодополнение кода в редакторе
  • вставка продолжения кода по контексту
  • заполнение пропусков в коде
  • дополнение кода с учётом репозитория

Ограничения

Модель ориентирована на код и английский язык; карточка не приводит сравнительных оценок качества. Указаны ограничения лицензии исходной модели, поэтому условия использования следует сверить с LICENSE-MODEL.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Deepseek-coder-1.3b base Model Card

The original source of this model is: deepseek-ai/deepseek-coder-1.3b-base This model is optimized and converted to OpenVino Intermediate Representation (IR) format using Optimum-cli. The model has been exported in Int8 by adding --weight-format Int8 while exporting this model from Huggingface.

Intended to be used with:

Original Model Details

  • Model type: text generation model
  • Language(s): English
  • License: This model is licensed under the MIT License. The use of DeepSeek Coder model is subject to the model License. See the LICENSE-MODEL for more details.
  • Model Summary: deepseek-coder-1.3b-base is a 1.3B parameter model with Multi-Head Attention trained on 1 trillion tokens.
  • Resources for more information: deepseek-coder-1.3b-base, Paper.

Uses

These models are pre-trained on a high-quality project-level code corpus and employ a fill-in-the-blank task with a 16K window to enhance code generation and infilling.

Direct Use

DeepSeek-Coder models are under a permissive license that allows for both research and unrestricted commercial use. Possible tasks include

  • Code Completion
  • Code Insertion
  • Repository Level Code Completion

Use base restrictions

You agree not to use the Model or Derivatives of the Model:

  • In any way that violates any applicable national or international law or regulation or infringes upon the lawful rights and interests of any third party;
  • For military use in any way;
  • For the purpose of exploiting, harming or attempting to exploit or harm minors in any way;
  • To generate or disseminate verifiably false information and/or content with the purpose of harming others;
  • To generate or disseminate inappropriate content subject to applicable regulatory requirements;
  • To generate or disseminate personal identifiable information without due authorization or for unreasonable use;
  • To defame, disparage or otherwise harass others;
  • For fully automated decision making that adversely impacts an individual’s legal rights or otherwise creates or modifies a binding, enforceable obligation;
  • For any use intended to or which has the effect of discriminating against or harming individuals or groups based on online or offline social behavior or known or predicted personal or personality characteristics;
  • To exploit any of the vulnerabilities of a specific group of persons based on their age, social, physical or mental characteristics, in order to materially distort the behavior of a person pertaining to that group in a manner that causes or is likely to cause that person or another person physical or psychological harm;
  • For any use intended to or which has the effect of discriminating against individuals or groups based on legally protected characteristics or categories.

Intel’s Human Rights Disclaimer:

Intel is committed to respecting human rights and avoiding complicity in human rights abuses. See Intel's Global Human Rights Principles. Intel's products and software are intended only to be used in applications that do not cause or contribute to a violation of an internationally recognized human right.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет весов в формате PyTorch/safetensors.

Класс архитектуры
LlamaForCausalLM
Ревизия весов
956a3d2

0 моделей