Характеристики

Контекст: 131 072 токена
Параметры: 8,4 млрд
Размер весов: 16,8 ГБ
Лицензия: Apache 2.0
Архитектура: granite · dense
Базовая модель: granite-4.1-8b
Библиотека: mlx
Опубликована: 3 мая 2026

Ссылки

Hugging Face

granite-4.1-8b-bf16

mlx-community

Генерация текстаТекст → текст13 профессий

Преобразованная для MLX версия Granite-4.1-8B от IBM для генерации текста и ведения диалогов.

121скачиваний за 30 дней0лайковвеса обновлены3 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mlx-community/granite-4.1-8b-bf16 — версия Granite-4.1-8B от mlx-community, преобразованная для MLX из модели ibm-granite/granite-4.1-8b с помощью mlx-lm. Это плотная языковая модель с архитектурой GraniteForCausalLM и 8,4 млрд параметров, предназначенная для генерации текста и диалоговых сценариев.

Модель принимает текст и генерирует текст; заявленная длина контекста составляет 131 072 токена. В описании базовой модели указана поддержка нескольких языков, работы с текстом и кодом, а также вызова инструментов, однако эта карточка подтверждает только генерацию текста и диалоговую возможность.

Файлы модели представлены в формате safetensors и подготовлены для запуска с MLX. Лицензия — Apache-2.0. Качество и языковой охват унаследованы от базовой модели; отдельные результаты оценки для этой сборки в карточке не приведены.

Сценарии применения

генерация ответов в диалоговом помощнике
создание и продолжение текста
подготовка текстовых черновиков
генерация фрагментов кода
локальный запуск языковой модели на системах с MLX

Ограничения

Карточка не приводит результатов оценки этой сборки. Поддержка языков, кода и вызова инструментов описана для базовой модели, но отдельно для этой версии не подтверждена.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlx-community/granite-4.1-8b-bf16

This model mlx-community/granite-4.1-8b-bf16 was converted to MLX format from ibm-granite/granite-4.1-8b using mlx-lm version 0.31.3.

Use with mlx

pip install mlx-lm

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/granite-4.1-8b-bf16")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True, return_dict=False,
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: GraniteForCausalLM
Ревизия весов: d18a57b