tinyllama-fp8-dynamic-compressed

В основе лежит TinyLlama, открытый проект команды под руководством Zhang и участников сообщества, созданный как компактная языковая модель семейства Llama для генерации текста и экспериментов с локальным запуском.

Модель является decoder-only Transformer с архитектурой LlamaForCausalLM, примерно 1,1 млрд параметров, 22 слоями, 32 attention-heads и 4 key-value-heads. Конфигурация указывает контекст до 2048 токенов, словарь из 32 000 токенов и вычисления в bfloat16. Вариант использует compressed-tensors: веса линеарных слоёв представлены в 8-битном float-формате FP8, а активации квантизуются динамически на уровне токенов; заявлено сжатие с коэффициентом около 1,24. Модель текстовая и не поддерживает изображения или другие модальности.

Главные преимущества — небольшой размер, сниженные требования к памяти и возможность тестировать сжатый инференс, в том числе через Transformers и совместимые средства vLLM/LLM Compressor. Ограничения связаны с малым размером, коротким контекстом, отсутствием специализированной мультимодальности и возможным снижением качества из-за FP8-квантизации; карточка этой производной модели не предоставляет подробных бенчмарков и не позиционирует её как готовую production-модель. Для исходной TinyLlama указана лицензия Apache-2.0; отдельные условия лицензирования производного репозитория следует проверять в его файлах лицензии.