tinyllama-oneshot-w8-channel-a8-tensor

Репозиторий входит в коллекцию моделей, используемых для CI-тестов проектов llm-compressor, compressed-tensors и vLLM, поэтому основное назначение этой версии — проверка совместимости и инференса квантизованных моделей, а не самостоятельный релиз для общего применения.

Модель относится к Text Generation и поддерживает запуск через Transformers и vLLM. Указан размер около 1 млрд параметров; в репозитории присутствуют веса BF16 и I8, а название указывает на схему one-shot W8 с channel-wise-квантизацией и активациями A8 в tensor-формате. Базовая TinyLlama построена по Llama-подобной decoder-only архитектуре, предназначена для генерации текста и диалоговых сценариев и разработана командой TinyLlama; однако для данной производной версии отдельные сведения о контексте, языках, обучении и качестве не опубликованы.

Сильная сторона модели — малый размер и возможность тестировать более экономичный 8-битный инференс в совместимых инструментах. Ограничения — отсутствие model card, бенчмарков, подробного описания применимости и явно указанной лицензии именно для этого репозитория; поэтому нельзя надежно оценить качество, языковое покрытие или рекомендованные продуктивные сценарии. Лицензия производной версии на странице модели не указана.