tinyllama-w8a16-dense

В коллекциях Hugging Face она указана как модель размером около 1 млрд параметров и предназначена прежде всего для тестирования и эффективного запуска, а не как самостоятельная специализированная прикладная модель.

В основе лежит TinyLlama — компактная авторегрессионная языковая модель семейства Llama, разработанная проектом TinyLlama. Она использует архитектуру и токенизатор Llama 2, содержит примерно 1,1 млрд параметров и работает с текстом, поддерживая генерацию текста. Суффикс W8A16 указывает на представление с 8-битными весами и 16-битными активациями; dense означает плотную структуру весов. Модель рассчитана на снижение требований к памяти и ускорение инференса при совместимом качестве.

Сильные стороны модели — малый размер, совместимость с экосистемой Llama и возможность тестировать квантованный инференс на более доступном оборудовании. Ограничения связаны с небольшим числом параметров: по возможностям и качеству она уступает крупным современным языковым моделям, а точные характеристики квантования, контекстное окно, языковой охват и результаты на бенчмарках для данного тестового репозитория надёжно не документированы. Для базовой TinyLlama заявлена лицензия Apache 2.0, но отдельная лицензия именно этого тестового варианта в найденных данных не подтверждена.