/ Модель

Характеристики

Контекст
16 384 токена
Параметры
21,7 млрд
Лицензия
bigcode-openrail-m
Архитектура
starcoder2 · dense
Базовая модель
starcoder2-15b
Библиотека
transformers
Опубликована
2 мар 2024

StarCoder2-15B-GGUF

Генерация текстаТекст → текст10 профессий

StarCoder2-15B-GGUF — квантизированная версия модели StarCoder2 15B, разработанной командой BigCode и подготовленной в формате GGUF компанией Second State Inc.

2 070скачиваний за 30 дней32лайкавеса обновлены20 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации и обработки программного кода, включая сценарии локального запуска и использования с совместимыми инструментами на базе llama.cpp. В README указан тег text-generation, однако конкретный перечень поддерживаемых языков программирования и естественных языков не приведён.

Модель содержит 15 млрд параметров и поддерживает контекст размером 6144 токена. Доступны варианты квантизации от 2 до 8 бит размером примерно от 6,19 до 17 ГБ. Вариант Q4_K_M обозначен как рекомендуемый для сбалансированного сочетания размера и качества, а Q5_K_M и Q5_K_S — как варианты с низкой потерей качества. Более агрессивная квантизация уменьшает требования к памяти, но может существенно ухудшать качество; точные архитектурные характеристики и модальности в README не указаны.

Модель ориентирована на задачи, связанные с кодом, но README не содержит подробных результатов тестирования или описания ограничений качества. Лицензия указана как bigcode-openrail-m. Оригинальная модель размещена под идентификатором bigcode/starcoder2-15b.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

StarCoder2-15B-GGUF

Original Model

bigcode/starcoder2-15b

Run with LlamaEdge

  • LlamaEdge version: coming soon

  • Context size: 6144

Quantized GGUF Models

NameQuant methodBitsSizeUse case
starcoder2-15b-Q2_K.ggufQ2_K26.19 GBsmallest, significant quality loss - not recommended for most purposes
starcoder2-15b-Q3_K_L.ggufQ3_K_L38.97 GBsmall, substantial quality loss
starcoder2-15b-Q3_K_M.ggufQ3_K_M38.1 GBvery small, high quality loss
starcoder2-15b-Q3_K_S.ggufQ3_K_S36.99 GBvery small, high quality loss
starcoder2-15b-Q4_0.ggufQ4_049.07 GBlegacy; small, very high quality loss - prefer using Q3_K_M
starcoder2-15b-Q4_K_M.ggufQ4_K_M49.86 GBmedium, balanced quality - recommended
starcoder2-15b-Q4_K_S.ggufQ4_K_S49.26 GBsmall, greater quality loss
starcoder2-15b-Q5_0.ggufQ5_0511 GBlegacy; medium, balanced quality - prefer using Q4_K_M
starcoder2-15b-Q5_K_M.ggufQ5_K_M511.4 GBlarge, very low quality loss - recommended
starcoder2-15b-Q5_K_S.ggufQ5_K_S511 GBlarge, low quality loss - recommended
starcoder2-15b-Q6_K.ggufQ6_K613.1 GBvery large, extremely low quality loss
starcoder2-15b-Q8_0.ggufQ8_0817 GBvery large, extremely low quality loss - not recommended

Quantized with llama.cpp b2308

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Класс архитектуры
Starcoder2ForCausalLM
Ревизия весов
4d76ffd

0 моделей