tinyllama-w4a16-compressed

Исходную TinyLlama разработал проект TinyLlama; модель предназначена для генерации текста и экспериментов с компактными Llama-подобными языковыми моделями. Репозиторий относится к набору тестовых моделей LLM Compressor, поэтому его назначение связано также с проверкой загрузки и выполнения сжатых моделей.

Модель использует архитектуру LlamaForCausalLM с примерно 1,1 млрд параметров, 22 слоями, скрытым размером 2048, 32 attention heads и 4 key-value heads. Максимальная длина контекста — 2048 токенов, размер словаря — 32 000 токенов. Веса линейных слоёв квантизованы в 4 бита с группами размера 128; используется формат compressed-tensors, при этом указаны BF16 и плотность без структурного ограничения. Модель текстовая и ориентирована прежде всего на английский язык.

Сжатие уменьшает требования к памяти и может ускорить локальный инференс на совместимом программном и аппаратном обеспечении, однако 4-битная квантизация способна снижать точность по сравнению с исходной моделью. Это базовая, а не instruction-tuned или chat-версия, поэтому она не оптимизирована для диалога и выполнения пользовательских инструкций. Для исходной TinyLlama указана лицензия Apache-2.0; отдельная карточка с условиями лицензирования именно этого сжатого тестового варианта отсутствует.