/ Модель
Каталог

Характеристики

Лицензия
Apache 2.0
Базовая модель
granite-3.2-8b-instruct
Библиотека
transformers
Опубликована
26 фев 2025

Ссылки

Hugging Face

granite-3.2-8b-instruct-GGUF

ibm-research
Генерация текстаТекст → текст15 профессий

Granite-3.2-8B-Instruct-GGUF — это GGUF-конверсия модели Granite-3.2-8B-Instruct, разработанная командой Granite в IBM.

1 080скачиваний за 30 дней11лайковвеса обновлены3 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель содержит 8 миллиардов параметров, создана на основе Granite-3.1-8B-Instruct и дообучена с использованием открытых наборов данных с разрешительными лицензиями и синтетических данных для задач рассуждения. Доступна в различных вариантах квантования.

Модель предназначена для выполнения общих инструкций и интеграции в AI-ассистентов, включая бизнес-приложения. Она поддерживает рассуждение с управляемым включением этой возможности только при необходимости, суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), задачи, связанные с кодом, function calling, многоязычный диалог и работу с длинным контекстом, например суммаризацию документов и встреч или ответы на вопросы по большим документам. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; дообучение возможно и для других языков.

К сильным сторонам относятся сочетание возможностей рассуждения, управляемость их применения, поддержка длинного контекста, многоязычность и широкий набор прикладных сценариев. README не содержит точного размера контекстного окна, сведений о модальностях помимо текстовой генерации, конкретных характеристик квантованных вариантов или подробностей об ограничениях качества. Модель распространяется по лицензии Apache 2.0.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

[!NOTE] This repository contains models that have been converted to the GGUF format with various quantizations from an IBM Granite base model.

Please reference the base model's full model card here: https://huggingface.co/ibm-granite/granite-3.2-8b-instruct

Granite-3.2-8B-Instruct-GGUF

Model Summary: Granite-3.2-8B-Instruct is an 8-billion-parameter, long-context AI model fine-tuned for thinking capabilities. Built on top of Granite-3.1-8B-Instruct, it has been trained using a mix of permissively licensed open-source datasets and internally generated synthetic data designed for reasoning tasks. The model allows controllability of its thinking capability, ensuring it is applied only when required.

Supported Languages: English, German, Spanish, French, Japanese, Portuguese, Arabic, Czech, Italian, Korean, Dutch, and Chinese. However, users may finetune this Granite model for languages beyond these 12 languages.

Intended Use: This model is designed to handle general instruction-following tasks and can be integrated into AI assistants across various domains, including business applications.

Capabilities

  • Thinking
  • Summarization
  • Text classification
  • Text extraction
  • Question-answering
  • Retrieval Augmented Generation (RAG)
  • Code related tasks
  • Function-calling tasks
  • Multilingual dialog use cases
  • Long-context tasks including long document/meeting summarization, long document QA, etc.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
7cba262

0 моделей

    Создать бенчмарк