Llama-3.1-8B-Instruct-FP8-KV-Quark-test

Это авторегрессионная текстовая языковая модель для генерации ответов по инструкциям и диалоговых сценариев; репозиторий также используется в тестах интеграции vLLM и квантования Quark.

Модель содержит около 8 млрд параметров и использует архитектуру LlamaForCausalLM с 32 слоями, 32 attention-heads и 8 key-value-heads. В конфигурации указаны FP8-квантизация весов и операций, включая FP8 KV-cache, а также формат хранения safetensors; базовый тип вычислений обозначен как bfloat16. Максимальная длина контекста указана как 131072 токена, исходный размер позиционного окна — 8192 токена с масштабированием RoPE. Модель работает с текстом; точный перечень поддерживаемых языков в карточке этой версии не указан.

Сильные стороны версии — уменьшение требований к памяти и возможность оптимизированного запуска на совместимой инфраструктуре AMD/ROCm с vLLM и Quark. Ограничения состоят в том, что это тестовый квантованный вариант без содержательной model card, поэтому для него не приведены отдельные результаты качества, подробные рекомендации по применению и подтверждённые языковые характеристики; влияние FP8-квантизации на точность также не описано. В репозитории указана лицензия llama3.1, унаследованная от семейства Llama 3.1.