Характеристики

Лицензия: Apache 2.0
Базовая модель: granite-3.1-3b-a800m-instruct
Опубликована: 23 мая 2026

Ссылки

Granite-3.1-3B-A800m-Instruct-APEX

Генерация текстаТекст → текст

Экспериментальная APEX-квантованная сборка Granite-3.1-3B-A800M-Instruct в GGUF для изучения потери качества и артефактов сжатия.

102скачиваний за 30 дней0лайковвеса обновлены25 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспериментальная квантованная сборка модели Granite-3.1-3B-A800M-Instruct от IBM в формате GGUF. Репозиторий содержит файлы APEX-квантования, выполненного проектом mudler/apex-quant с использованием матрицы важности (imatrix); исходные веса F16 GGUF и матрица взяты из репозитория bartowski.

Сборка предназначена только для технической проверки квантования: исследования потери качества, отладки конвертации и сравнения артефактов сжатия. Она сохраняет назначение исходной модели для генерации текста, но автор предупреждает о сильном падении точности: ответы могут содержать галлюцинации, бессвязный текст или не справляться с простыми задачами. Калибровка после квантования, дообучение и восстановление качества не выполнялись. Лицензия — Apache-2.0.

Сценарии применения

сравнение артефактов разных вариантов квантования
исследование влияния квантования на качество генерации
отладка скриптов конвертации в GGUF

Ограничения

Автор предупреждает о сильной потере точности: модель может галлюцинировать, генерировать бессвязный текст или не справляться с простыми задачами. Качество после квантования не восстанавливалось калибровкой или дообучением.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Granite-3.1-3b-a800m-instruct APEX Quantized (GGUF)

This repository contains APEX-quantized GGUF files for IBM's Granite-3.1-3b-a800m-instruct.

The quantization was performed using the mudler/apex-quant project, focusing on maximizing quality-to-size ratio using importance matrix (imatrix) guided quantization.

📥 Source & Credits

Base Model: ibm-granite/granite-3.1-3b-a800m-instruct
F16 GGUF & Imatrix: The F16 source model and the importance matrix file used for quantization were sourced from bartowski's GGUF repository.

Special thanks to @bartowski for providing the high-quality imatrix file!

⚠️ For technical validation only

Severe accuracy loss due to quantization; outputs may contain hallucinations, gibberish, or fail basic tasks.
Suitable only for researching quantization noise, debugging conversion scripts, or comparing compression artifacts.
No post-training calibration, fine-tuning, or recovery techniques were applied.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Можно запустить

Подбираем GPU…

Ревизия весов: b8ce336