Qwen2.5-32B-Instruct-FP8-dynamic

Она предназначена для диалогов, следования инструкциям, генерации текста и структурированных ответов, а также задач программирования, математики и работы с длинными текстами. Модель относится к causal language models и поддерживает только текстовые входы и выходы.

В основе используется архитектура Qwen2ForCausalLM с 64 слоями, 40 attention heads для Q и 8 для KV по схеме GQA; размер исходной модели составляет около 32,5 млрд параметров. Репозиторий RedHatAI содержит формат compressed-tensors с FP8-представлением весов и динамическим квантованием активаций; в конфигурации указано максимальное положение на 32 768 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский, английский, китайский и другие.

Сильные стороны — сочетание крупного размера, улучшенных возможностей следования инструкциям, программирования, математики и более экономичного инференса благодаря FP8-квантизации. Ограничения включают возможные потери качества по сравнению с полной точностью, необходимость совместимого ПО для compressed-tensors и отсутствие отдельной карточки модели с подробными бенчмарками и описанием ограничений. Для исходной Qwen2.5-32B-Instruct указана лицензия Apache 2.0; отдельная лицензия производного репозитория RedHatAI в найденных материалах явно не указана.