tinyllama-oneshot-w8w8-test-static-shape-change

Конфигурация указывает, что она основана на TinyLlama-1.1B-Chat-v1.0 и предназначена прежде всего для тестирования и интеграционных сценариев, связанных с инференсом и изменением статических форм тензоров; полноценная карточка модели отсутствует.

Модель использует архитектуру LlamaForCausalLM с 22 transformer-слоями, скрытым размером 2048, словарём на 32000 токенов и контекстом до 2048 токенов. Указана grouped-query attention с 32 query- и 4 key/value-головами, а размер модели составляет примерно 1 млрд параметров. В конфигурации присутствует схема сжатия W8W8: 8-битные симметричные тензорные активации и веса; при этом файлы модели представлены в формате Safetensors.

Модель поддерживает text generation и может загружаться через Transformers, а также использоваться с vLLM и SGLang. Её сильные стороны — небольшой размер, совместимость с распространёнными инструментами инференса и наличие конфигурации для 8-битного сжатия. Ограничения — отсутствие подробной документации, оценок качества, перечня языков и подтверждённых сценариев промышленного применения; по названию и размещению это, вероятно, тестовый артефакт, а не универсальная production-модель. Лицензия в доступных данных не указана.