Характеристики

Лицензия: bigcode-openrail-m
Библиотека: transformers
Опубликована: 6 мар 2024

Ссылки

starcoder2-15b-instruct-GGUF

Генерация текстаТекст → текст8 профессий

bartowski/starcoder2-15b-instruct-GGUF — это набор GGUF-квантизаций модели StarCoder2-15B-Instruct, разработанной TechxGenus и опубликованной в формате для запуска через llama.cpp.

610скачиваний за 30 дней5лайковвеса обновлены6 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Квантизацию выполнил bartowski с использованием llama.cpp release b2354. Модель относится к классу text-generation и предназначена прежде всего для генерации и обработки программного кода, включая локальные сценарии запуска с ограниченными ресурсами.

Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_S, Q4_K_M, Q5_0, Q5_K_S, Q5_K_M, Q6_K и Q8_0. Размер файлов составляет примерно от 6,19 до 16,96 ГБ. Q6_K отмечен как рекомендуемый вариант с очень высоким качеством, Q8_0 обеспечивает максимальное доступное качество, а варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. Архитектура, поддерживаемые языки программирования, языки естественного языка, модальности и размер контекста в README не указаны.

Сильной стороной модели является возможность локального использования в экосистеме llama.cpp с выбором компромисса между качеством и требованиями к памяти. Ограничения связаны с потерями качества при низких уровнях квантизации, а также с отсутствием в представленном README подробностей о возможностях, бенчмарках и контекстном окне. Модель распространяется по лицензии BigCode OpenRAIL-M.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.3Разработка и данныеРефакторинг, миграция и модернизацияAI помогает улучшать структуру программ и переносить их на новые технологии без потери поведения.20 задач9 764модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Llamacpp Quantizations of starcoder2-15b-instruct

Using llama.cpp release b2354 for quantization.

Original model: https://huggingface.co/TechxGenus/starcoder2-15b-instruct

Download a file (not the whole branch) from below:

Filename	Quant type	File Size	Description
starcoder2-15b-instruct-Q8_0.gguf	Q8_0	16.96GB	Extremely high quality, generally unneeded but max available quant.
starcoder2-15b-instruct-Q6_K.gguf	Q6_K	13.10GB	Very high quality, near perfect, recommended.
starcoder2-15b-instruct-Q5_K_M.gguf	Q5_K_M	11.43GB	High quality, very usable.
starcoder2-15b-instruct-Q5_K_S.gguf	Q5_K_S	11.02GB	High quality, very usable.
starcoder2-15b-instruct-Q5_0.gguf	Q5_0	11.02GB	High quality, older format, generally not recommended.
starcoder2-15b-instruct-Q4_K_M.gguf	Q4_K_M	9.86GB	Good quality, similar to 4.25 bpw.
starcoder2-15b-instruct-Q4_K_S.gguf	Q4_K_S	9.25GB	Slightly lower quality with small space savings.
starcoder2-15b-instruct-Q4_0.gguf	Q4_0	9.06GB	Decent quality, older format, generally not recommended.
starcoder2-15b-instruct-Q3_K_L.gguf	Q3_K_L	8.96GB	Lower quality but usable, good for low RAM availability.
starcoder2-15b-instruct-Q3_K_M.gguf	Q3_K_M	8.10GB	Even lower quality.
starcoder2-15b-instruct-Q3_K_S.gguf	Q3_K_S	6.98GB	Low quality, not recommended.
starcoder2-15b-instruct-Q2_K.gguf	Q2_K	6.19GB	Extremely low quality, not recommended.

Want to support my work? Visit my ko-fi page here: https://ko-fi.com/bartowski

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 941b860