tinyllama-oneshot-w8a16-per-channel

Он предназначен прежде всего для проверки и интеграционного тестирования средств сжатия и инференса LLM, включая llm-compressor, compressed-tensors и vLLM, а также может использоваться для генерации текста и диалоговых сценариев через Transformers и совместимые серверы инференса.

Модель относится к семейству TinyLlama и содержит около 1 млрд параметров. Это decoder-only модель архитектуры Llama для text generation с поддержкой conversational chat template. Формат w8a16-per-channel означает квантизацию весов до 8 бит при сохранении 16-битных активаций с масштабированием по каналам; на странице репозитория указаны тензоры I32 и BF16. Производительность и качество должны быть выше пригодности для компактного локального инференса, но могут уступать исходной полноточной версии из-за квантизации. Точная длина контекста, набор языков и дополнительные архитектурные параметры для этого производного репозитория явно не описаны.

Карточка модели не содержит отдельного описания лицензии; поэтому условия использования именно этой квантизированной версии по доступным данным установить нельзя. Репозиторий входит в коллекцию моделей, применяемых в CI-тестах, что указывает на тестовое, а не на самостоятельное целевое прикладное назначение.