Qwen2.5-14B-Instruct-FP8-dynamic

Исходная модель разработана командой Qwen и представляет собой инструкционно дообученную авторегрессионную языковую модель для генерации текста и диалогового взаимодействия.

Модель предназначена для чат-ботов, следования инструкциям, генерации длинных и структурированных ответов, включая JSON, а также для задач программирования, математики, анализа таблиц и других текстовых сценариев. Это текстовая, не мультимодальная модель с архитектурой Qwen2ForCausalLM; в исходной версии около 14,7 млрд параметров. Заявлена поддержка контекста до 128K токенов и генерации до 8K токенов. Модель мультиязычная; среди явно указанных языков есть английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский.

Ключевое преимущество варианта RedHatAI — FP8 dynamic-квантизация, рассчитанная на уменьшение требований к памяти и ускорение инференса при сохранении назначения исходной instruct-модели. Ограничения включают типичные для языковых моделей риск ошибок, галлюцинаций и зависимости качества от формулировки запроса; конкретные результаты тестирования именно этой квантизованной версии в найденном репозитории не приведены. Для исходной Qwen2.5-14B-Instruct указана лицензия Apache 2.0; отдельная карточка модели RedHatAI лицензионные условия явно не описывает.