/ Модель

Характеристики

Контекст
16 384 токена
Параметры
21,7 млрд
Лицензия
bigcode-openrail-m
Архитектура
starcoder2 · dense
Базовая модель
starcoder2-15b-instruct-v0.1
Библиотека
transformers
Опубликована
14 мая 2024

StarCoder2-15B-Instruct-v0.1-GGUF

Генерация текстаТекст → текст9 профессий

StarCoder2-15B-Instruct-v0.1-GGUF — это квантизированная в формате GGUF версия инструкционной модели StarCoder2-15B-Instruct-v0.1, разработанной BigCode и подготовленной компанией Second State Inc.

1 291скачиваний за 30 дней0лайковвеса обновлены14 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации и обработки программного кода в сценариях, где требуется локальный или более ресурсоэффективный запуск текстовой генеративной модели.

Модель имеет размер 15 млрд параметров и поддерживает контекст до 6144 токенов. В README не указаны точная архитектура, перечень поддерживаемых языков программирования и естественных языков, а также характеристики мультимодальности; по назначению и тегу code модель ориентирована на работу с текстом и исходным кодом. Доступны варианты квантования от Q2_K до Q8_0, а также F16 объёмом от 6,19 до 31,9 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень низкой или низкой потерей качества.

Главное преимущество сборки — возможность выбирать между меньшим объёмом файлов и сохранением качества. Более агрессивное квантование, включая Q2_K и некоторые варианты Q3, сопровождается существенной потерей качества, поэтому оно подходит не для всех задач. Лицензия модели — BigCode OpenRAIL-M. Для запуска в README упоминается LlamaEdge, но его поддержка обозначена как находящаяся в разработке; квантование выполнено с помощью llama.cpp версии b2824.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

StarCoder2-15B-Instruct-v0.1-GGUF

Original Model

bigcode/starcoder2-15b-instruct-v0.1

Run with LlamaEdge

  • LlamaEdge version: coming soon

  • Context size: 6144

Quantized GGUF Models

NameQuant methodBitsSizeUse case
starcoder2-15b-instruct-v0.1-Q2_K.ggufQ2_K26.19 GBsmallest, significant quality loss - not recommended for most purposes
starcoder2-15b-instruct-v0.1-Q3_K_L.ggufQ3_K_L38.97 GBsmall, substantial quality loss
starcoder2-15b-instruct-v0.1-Q3_K_M.ggufQ3_K_M38.1 GBvery small, high quality loss
starcoder2-15b-instruct-v0.1-Q3_K_S.ggufQ3_K_S36.99 GBvery small, high quality loss
starcoder2-15b-instruct-v0.1-Q4_0.ggufQ4_049.07 GBlegacy; small, very high quality loss - prefer using Q3_K_M
starcoder2-15b-instruct-v0.1-Q4_K_M.ggufQ4_K_M49.86 GBmedium, balanced quality - recommended
starcoder2-15b-instruct-v0.1-Q4_K_S.ggufQ4_K_S49.26 GBsmall, greater quality loss
starcoder2-15b-instruct-v0.1-Q5_0.ggufQ5_0511 GBlegacy; medium, balanced quality - prefer using Q4_K_M
starcoder2-15b-instruct-v0.1-Q5_K_M.ggufQ5_K_M511.4 GBlarge, very low quality loss - recommended
starcoder2-15b-instruct-v0.1-Q5_K_S.ggufQ5_K_S511 GBlarge, low quality loss - recommended
starcoder2-15b-instruct-v0.1-Q6_K.ggufQ6_K613.1 GBvery large, extremely low quality loss
starcoder2-15b-instruct-v0.1-Q8_0.ggufQ8_0817 GBvery large, extremely low quality loss - not recommended
starcoder2-15b-instruct-v0.1-f16.gguff161631.9 GB

Quantized with llama.cpp b2824

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Класс архитектуры
Starcoder2ForCausalLM
Ревизия весов
dc64caa

0 моделей