Qwen2.5-72B-Instruct-FP8-dynamic

Модель представляет собой instruction-tuned causal language model для диалогов, генерации и анализа текста, следования инструкциям, работы со структурированными данными, программным кодом, математическими и рассуждательными задачами. Это текстовая модель без заявленной поддержки изображений или других модальностей.

Базовая модель имеет 72,7 млрд параметров, 80 слоёв и архитектуру Transformer с RoPE, SwiGLU, RMSNorm, attention QKV bias и Grouped-Query Attention: 64 головы для Q и 8 для KV. Заявлены контекст до 131 072 токенов и генерация до 8192 токенов; для длинного контекста применяется YaRN. Модель поддерживает более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский.

В данном репозитории веса представлены в формате Safetensors с FP8 dynamic-квантизацией и использованием compressed-tensors, что предназначено для более эффективного хранения и инференса по сравнению с полноточной версией. Сильные стороны исходной Qwen2.5-72B-Instruct — улучшенные instruction following, кодирование, математика, обработка длинных текстов, таблиц и структурированных, включая JSON, ответов. Ограничения включают значительные требования к вычислительным ресурсам из-за размера модели, возможное влияние квантизации на качество и стандартные риски генеративных моделей: ошибки, галлюцинации и необходимость проверки результатов. Для базовой модели указана Qwen License Alibaba Cloud; она разрешает использование, модификацию и распространение при соблюдении условий лицензии, включая специальные требования для коммерческих продуктов с более чем 100 млн ежемесячных активных пользователей и указание использования Qwen при создании или улучшении других AI-моделей.