Qwen2-1.5B-Instruct-FP8W8

Исходную модель разработала команда Qwen; репозиторий данной версии размещён пользователем nm-testing. Модель предназначена для генерации текста, диалогов и выполнения инструкций, а также может применяться в локальных сервисах инференса через Transformers, vLLM или SGLang.

Это decoder-only Transformer примерно на 1,5 млрд параметров с архитектурными особенностями Qwen2, включая SwiGLU и Group Query Attention. В репозитории указаны форматы BF16 и F8_E4M3, соответствующие FP8-квантизации весов и активаций. Модель работает только с текстом; поддерживаются чатовый шаблон и text generation. Для исходной модели заявлена длина контекста до 131 072 токенов, а токенизатор адаптирован к нескольким естественным языкам и языкам программирования, однако точный набор языков и фактические характеристики контекста именно квантованной версии в её репозитории не описаны.

К сильным сторонам относятся небольшой размер, сниженные требования к памяти благодаря FP8-квантизации и пригодность для диалоговых и общих задач генерации текста. Ограничения — существенно меньшая ёмкость по сравнению с крупными моделями, отсутствие мультимодальности и отсутствие отдельной карточки модели с результатами оценки, подробным описанием ограничений и подтверждёнными характеристиками именно этой сборки. Лицензия в репозитории nm-testing не указана; у исходной Qwen2-1.5B-Instruct указана Apache License 2.0, но применимость этой лицензии к данной производной сборке следует проверить отдельно.