Характеристики

Лицензия: Своя лицензия
Опубликована: 12 июн 2024

Ссылки

OpenCodeInterpreter-DS-6.7B-imatrix-GGUF

Генерация текстаТекст → текст8 профессий

OpenCodeInterpreter-DS-6.7B-imatrix-GGUF — это квантизированные GGUF-версии языковой модели OpenCodeInterpreter-DS-6.7B, опубликованные пользователем duyntnet.

1 234скачиваний за 30 дней3лайкавеса обновлены13 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исходная модель разработана организацией m-a-p и размещена на базе deepseek-ai. Модель предназначена для генерации текста и прежде всего для задач программирования, включая написание функций и обработку запросов на естественном языке, связанных с кодом.

В доступных данных указано, что модель имеет размер 6,7 млрд параметров, поддерживает текстовый ввод и вывод, а заявленным языком является английский. Для запуска исходной версии используются AutoTokenizer и AutoModelForCausalLM из Transformers, а взаимодействие может выполняться через chat template. Данный репозиторий содержит квантизации с использованием GGUF и imatrix; конкретные варианты квантизации, размер контекста и требования к оборудованию не указаны.

Сильной стороной модели является специализация на генерации программного кода и наличие формата GGUF, удобного для совместимого локального инференса. Ограничения включают отсутствие подробных данных о качестве, поддерживаемых языках программирования, мультимодальности и производительности. Лицензия обозначена как other, без уточнения конкретных условий использования.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Quantizations of https://huggingface.co/deepseek-ai/m-a-p/OpenCodeInterpreter-DS-6.7B

From original readme

Model Usage

Inference

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_path="m-a-p/OpenCodeInterpreter-DS-6.7B"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model.eval()

prompt = "Write a function to find the shared elements from the given two lists."
inputs = tokenizer.apply_chat_template(
        [{'role': 'user', 'content': prompt }],
        return_tensors="pt"
    ).to(model.device)
outputs = model.generate(
    inputs, 
    max_new_tokens=1024,
    do_sample=False,
    pad_token_id=tokenizer.eos_token_id,
    eos_token_id=tokenizer.eos_token_id,
)
print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True))

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: c0c3512