This is a MXFP4_MOE quantization of the model Granite-4.0-H-Tiny
Model quantized with BF16 GGUF's from: https://huggingface.co/unsloth/granite-4.0-h-tiny-GGUF
Original model: https://huggingface.co/ibm-granite/granite-4.0-h-tiny
Granite-4.0-H-Tiny-MXFP4_MOE-GGUF
Генерация текстаТекст → текст
Квантизированная в MXFP4 версия Granite-4.0-H-Tiny в формате GGUF для генерации текста и диалогового использования.
100скачиваний за 30 дней1лайквеса обновлены27 окт 2025
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это MXFP4-квантизация модели Granite-4.0-H-Tiny в формате GGUF, опубликованная noctrex. В метаданных указана базовая модель ibm-granite/granite-4.0-h-tiny; карточка сообщает, что для квантизации использованы её веса BF16 в GGUF.
Модель предназначена для генерации текста в диалоговом режиме. Базовая модель описана как гибридная MoE-модель IBM для диалоговых ассистентов, работы с текстом и кодом и вызова инструментов. Репозиторий содержит формат GGUF и отмечен как поддерживающий чат.
В README не приведены сведения о размере, контексте и языках. Лицензия в предоставленных данных также не указана; качество и ограничения именно этой квантизации не описаны.
Сценарии применения
- генерация ответов в диалоговом ассистенте
- локальный запуск языковой модели в формате GGUF
- помощь с задачами по тексту и коду
- диалоговый интерфейс для вызова инструментов
Ограничения
В предоставленных данных не указаны размер модели, длина контекста и поддерживаемые языки. Лицензия и измерения качества этой квантизации также не приведены.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
Подбираем GPU…
- Ревизия весов
- 12f98d7