granite-4.1-3b-fp8

Модель предназначена для генерации текста и построения AI-ассистентов, включая корпоративные приложения и LLM-агентов с использованием инструментов. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), программирование, function calling, многоязычный диалог и Fill-In-the-Middle для завершения кода.

Модель содержит около 3 млрд параметров и основана на decoder-only dense Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными embeddings. Для версии 3B указаны 40 слоёв, размер embeddings 2560, 40 attention heads, 8 KV heads и максимальная длина последовательности 131072 токена. FP8-квантизация предназначена для более эффективного развёртывания и снижения требований к памяти; репозиторий поддерживает Transformers, vLLM и SGLang. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский.

Сильные стороны модели — улучшенные instruction following, tool calling, диалоговые возможности, кодирование и математическое рассуждение при компактном размере. Ограничения включают возможное снижение качества для неанглийских задач, а также риск неточных, предвзятых или небезопасных ответов; IBM рекомендует проводить собственное тестирование и настройку безопасности. Модель распространяется по лицензии Apache 2.0.