Qwen2.5-0.5B-Instruct-FP8-dynamic

Репозиторий опубликован Red Hat AI, а исходную серию Qwen2.5 разработала команда Qwen компании Alibaba Cloud. В карточке конкретного репозитория указано отсутствие отдельного model card; поэтому сведения о назначении и характеристиках относятся к базовой модели Qwen2.5-0.5B-Instruct и формату представленных весов.

Модель предназначена для генерации и понимания текста по инструкциям, диалогов, ответов на вопросы, простых задач рассуждения, математики и программирования, а также для запуска в ресурсно-ограниченных и edge-сценариях. Это decoder-only dense Transformer с примерно 0,49 млрд параметров, 24 слоями, 14 attention heads и 2 key-value heads; поддерживаются контекст до 32K токенов и генерация до 8K токенов. Модель работает с текстом и относится к многоязычным моделям Qwen2.5; точный перечень языков для этой FP8-версии в доступной карточке не указан.

Ключевые сильные стороны — небольшой размер, пригодность для локального и edge-развёртывания, instruction-following и повышенные относительно предыдущей версии показатели на задачах математики, программирования и следования инструкциям. Ограничения связаны с малым числом параметров: модель рассчитана на лёгкие и менее сложные задачи и не предназначена для уровня качества более крупных LLM; конкретные ограничения и результаты именно FP8 dynamic-варианта в его репозитории не приведены. Для базовой Qwen2.5-0.5B указана лицензия Apache 2.0; FP8 dynamic-веса используют типы BF16 и F8_E4M3.