tinyllama-w8a8-compressed

В её основе лежит TinyLlama 1.1B, разработанная проектом TinyLlama под руководством Zhang и предназначенная для компактной генерации текста и экспериментов с небольшими LLM. Данный репозиторий входит в коллекции тестовых моделей для LLM Compressor, compressed-tensors и vLLM, поэтому его основное назначение — проверка загрузки и выполнения сжатых моделей, а не предоставление отдельной дообученной чат-модели.

Архитектура — LlamaForCausalLM с примерно 1,1 млрд параметров, 22 слоями, размером скрытого представления 2048, 32 attention heads и 4 key-value heads. Максимальная длина контекста в конфигурации — 2048 токенов, размер словаря — 32 000. Модель работает с текстом, использует Llama-токенизатор и ориентирована прежде всего на английский язык. Веса и входные активации линейных слоёв квантизованы в INT8 по схеме W8A8 с использованием compressed-tensors; конфигурация также указывает около 7,8% неструктурированной разреженности и хранение исходного типа torch.bfloat16 для отдельных компонентов.

Ключевое преимущество — уменьшенные требования к памяти и вычислениям по сравнению с полной версией TinyLlama, что удобно для тестирования и локального инференса. Ограничения включают небольшой размер и контекст, отсутствие instruction-tuning у базовой TinyLlama, отсутствие собственной подробной model card и явных сведений о бенчмарках именно этой сжатой версии. Для исходной TinyLlama указана лицензия Apache 2.0; отдельная лицензия для репозитория nm-testing в найденных материалах явно не указана.