granite-4.1-8b-fp8

Модель предназначена для генерации текста, диалогов и использования в качестве основы AI-ассистентов и LLM-агентов, включая корпоративные сценарии. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation, программирование, вызовы функций, многоязычный диалог и Fill-In-the-Middle для кода.

Базовая модель построена на decoder-only dense Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными embeddings. Для 8B-варианта указаны 40 слоёв, размер embedding 4096, 32 attention heads, 8 KV heads и контекст до 131072 токенов. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. FP8-квантизация ориентирована на более эффективное развёртывание при сохранении совместимости с инструментами text generation.

Сильные стороны модели — улучшенные instruction following, tool calling, чат-возможности, генерация и объяснение кода, математическое рассуждение и поддержка длинного контекста. Ограничения включают возможное снижение качества на языках, отличных от английского, а также риск неточных, предвзятых или небезопасных ответов; IBM рекомендует проводить собственное тестирование безопасности и настройки под конкретные задачи. Модель распространяется по лицензии Apache 2.0.