Характеристики

Лицензия: Apache 2.0
Базовая модель: granite-8b-code-base-4k
Библиотека: transformers
Опубликована: 30 мая 2024

Ссылки

granite-8b-code-instruct-4k-GGUF

Генерация текстаТекст → текст7 профессий

granite-8b-code-instruct-4k-GGUF — квантованная версия Q4_K_M модели granite-8b-code-instruct-4k, разработанной IBM и распространяемой под лицензией Apache 2.0.

3 058скачиваний за 30 дней12лайковвеса обновлены25 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации и обработки программного кода, включая написание, объяснение и исправление кода, а также решения задач, связанных с SQL, математикой и вызовом функций. Версия основана на ibm-granite/granite-8b-code-base-4k и рассчитана на контекст до 4K токенов.

Модель содержит 8 миллиардов параметров, работает в текстовом режиме и ориентирована на сценарии программирования с использованием llama.cpp и формата GGUF. В опубликованных тестах HumanEvalPack показатели pass@1 составили 57,9% для синтеза Python, 52,4% для JavaScript, 58,5% для Java, 43,3% для Go, 48,2% для C++ и 37,2% для Rust; результаты для объяснения и исправления кода различаются в зависимости от языка. Показатели помечены как непроверенные.

Ключевое ограничение — устаревший статус: разработчик не рекомендует модель для новых проектов и предлагает использовать более современные модели семейства Granite. README не содержит сведений о точной архитектуре, языковом охвате и дополнительных ограничениях, поэтому эти характеристики нельзя определить по предоставленным данным.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

⚠️ DEPRECATION WARNING ⚠️

⚠️ NOT RECOMMENDED FOR USE IN NEW PROJECTS ⚠️

New applications/projects should use the latest mainline Granite language model family, whose code capabilities supercede this model. This model is being made available strictly for historical/scientific purposes. Please see our Granite Collections for the latest Granite releases.

image/png

ibm-granite/granite-8b-code-instruct-4k-GGUF

This is the Q4_K_M converted version of the original ibm-granite/granite-8b-code-instruct-4k. Refer to the original model card for more details.

Use with llama.cpp

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# install
make

# run generation
./main -m granite-8b-code-instruct-4k-GGUF/granite-8b-code-instruct.Q4_K_M.gguf -n 128 -p "def generate_random(x: int):" --color

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов: 7f03f9f