tinyllama-oneshot-w4a16-channel-v2

Она основана на TinyLlama и предназначена для text generation и conversational-сценариев, включая локальный запуск через Transformers, vLLM и SGLang. Поскольку карточка модели отсутствует, подробности обучения и целевые прикладные сценарии не указаны.

Модель использует архитектуру LlamaForCausalLM с 22 слоями, 32 attention heads, 4 key-value heads, размером скрытого состояния 2048 и словарём из 32 000 токенов. Максимальная длина контекста составляет 2048 токенов, размер — около 1,1 млрд параметров. Веса подвергнуты 4-битному симметричному channel-wise quantization для Linear-слоёв в формате compressed-tensors; указана также неструктурированная разреженность около 19%. Поддерживается текстовая модальность, язык модели явно не указан в карточке; базовый проект TinyLlama ориентирован на английский.

Ключевое преимущество — небольшой размер и сниженные требования к памяти по сравнению с полноразмерными LLM, что подходит для тестирования inference-стеков и ограниченных вычислительных сред. Ограничения включают короткий контекст, отсутствие опубликованных бенчмарков и подробностей обучения, а также возможное снижение качества из-за 4-битного квантования. Лицензия именно этого репозитория не указана; базовый проект TinyLlama распространяется по Apache-2.0, но применимость этой лицензии к данному квантованному производному релизу следует проверить отдельно.