llama-3-70b-instruct-awq

Базовую модель разработала Meta. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer и Grouped-Query Attention; она принимает текст и генерирует текст или код, поддерживая диалоговый формат и задачи ассистента.

Модель содержит около 70 млрд параметров, использует контекст до 8192 токенов и рассчитана прежде всего на англоязычные коммерческие и исследовательские сценарии: диалог, генерацию текста, ответы на вопросы, программирование и рассуждения. Квантование AWQ уменьшает требования к памяти и делает локальное развертывание более практичным, однако может сопровождаться потерей точности по сравнению с полноразмерной версией. Модель не является мультимодальной и не предназначена для языков, отличных от английского, без дополнительной адаптации. Как и другие LLM, она может выдавать неточные, предвзятые или небезопасные ответы, поэтому требует проверки и дополнительных защитных механизмов.

Для использования применяются Transformers, vLLM или SGLang; репозиторий содержит веса в формате Safetensors. Для базовой Llama 3 указана пользовательская коммерческая лицензия Meta Llama 3 Community License и Acceptable Use Policy; использование производной версии следует согласовывать с этими условиями.