Qwen2.5-Coder-32B-Instruct-FP8-dynamic

Базовую модель разработала команда Qwen компании Alibaba Cloud. Это каузальная текстовая модель, ориентированная прежде всего на генерацию, понимание, исправление и рассуждение по программному коду, а также на использование в кодовых ассистентах и code-agent сценариях.

Исходная модель содержит около 32,5 млрд параметров, построена на архитектуре Qwen2 с 64 слоями и Grouped-Query Attention: 40 голов для запросов и 8 для ключей и значений. Заявлена поддержка контекста до 131 072 токенов; базовая конфигурация рассчитана на 32 768 токенов, а для более длинных входов применяется YaRN. Модель работает с текстом на входе и выходе. Qwen2.5-Coder обучалась на корпусе свыше 5,5 трлн токенов и демонстрирует возможности работы более чем с 40 языками программирования, включая генерацию, завершение, рефакторинг и исправление кода.

Вариант FP8 dynamic квантует веса и активации линейных операторов трансформера с 16 до 8 бит, что примерно вдвое снижает требования к памяти и размер файлов и может повысить пропускную способность матричных вычислений. Компромиссом является использование квантизированной версии вместо исходной точности; конкретные результаты потери качества для этого репозитория в найденной карточке не приведены. Для исходной Qwen2.5-Coder-32B-Instruct указана лицензия Apache 2.0, однако на странице точного репозитория RedHatAI отдельная лицензия и полноценная карточка модели не указаны.