granite-4.2-8b-fp8

Это dense reasoning language model примерно на 8 млрд параметров; в репозитории FP8-версии указано около 9 млрд параметров с тензорами BF16 и F8_E4M3. Модель предназначена для генерации текста, диалога, следования инструкциям, программирования, решения математических и многошаговых задач, а также для построения корпоративных AI-агентов с вызовом инструментов.

Granite 4.2 поддерживает встроенное пошаговое рассуждение, режимы полного, отключённого и облегчённого reasoning, а также reasoning-augmented tool calling. Заявлено контекстное окно 128K токенов. Модель протестирована для диалога на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках. FP8-представление снижает требования к памяти и подходит для развёртывания через Transformers, vLLM и SGLang, но требует совместимой поддержки FP8 и квантизированных тензоров.

Сильные стороны модели — сочетание reasoning, кодирования, многошагового планирования и вызова инструментов при относительно компактном размере, а также возможность выбора баланса между качеством рассуждения и задержкой. В доступных первоисточниках не приведены подробные сведения о внутренней конфигурации слоёв именно FP8-варианта, полном наборе ограничений безопасности и численных характеристиках для всех сценариев; поэтому результаты требуют проверки в прикладных задачах. Репозиторий распространяется по лицензии Apache 2.0, допускающей коммерческое и академическое использование.