Llama-3.2-1B-FP8

Репозиторий опубликован Red Hat AI, а исходная модель разработана Meta. Это авторегрессионная текстовая модель для генерации текста и кода; она не является мультимодальной и не относится к instruction-tuned версии.

Модель содержит около 1,23 млрд параметров и использует оптимизированную Transformer-архитектуру Llama с Grouped-Query Attention: 16 слоёв, 32 attention heads и 8 key-value heads. В конфигурации репозитория указано контекстное окно до 131 072 токенов. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. FP8-представление весов и активаций предназначено для снижения требований к памяти и ускорения инференса на совместимом оборудовании.

Сильными сторонами являются небольшой размер, возможность локального развертывания и повышенная эффективность по сравнению с полноточной версией. Ограничения включают меньшую ёмкость по сравнению с более крупными моделями, возможные потери качества из-за квантизации и отсутствие в карточке репозитория собственных подробных оценок качества или описания ограничений. Для исходной Llama 3.2 указана Llama 3.2 Community License — специальная коммерческая лицензия Meta; условия применения производной FP8-модели следует проверять по лицензии базовой модели и файлам репозитория.