Llama-3.2-1B-Instruct-FP8-KV

Он основан на авторегрессионной языковой модели Meta с оптимизированной архитектурой Transformer, дообученной с помощью supervised fine-tuning и reinforcement learning from human feedback для полезного и безопасного диалога. Репозиторий не содержит отдельной карточки модели, поэтому сведения о назначении и характеристиках частично унаследованы от базовой модели Meta Llama 3.2 1B Instruct.

Модель предназначена для генерации текста, многоязычного диалога, ассистентских и агентных сценариев, включая извлечение знаний, суммаризацию, переписывание запросов и работу локально при ограниченных вычислительных ресурсах. Базовая модель содержит около 1,23 млрд параметров, поддерживает текст на входе и выходе, Grouped-Query Attention и контекст до 128 тысяч токенов; официально заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса представлены в BF16, а KV-cache использует формат FP8 E4M3, что может снижать потребление памяти и ускорять инференс, но способно приводить к численной погрешности.

Основное ограничение — это тестовый чекпойнт, предназначенный прежде всего для проверки инфраструктуры квантования и инференса, а не отдельная модель с собственной оценкой качества. Для использования применяются условия Llama 3.2 Community License Meta, включая требования Acceptable Use Policy и специальные условия распространения.