TinyLlama-1.1B-Chat-v1.0-W8A8-Dynamic-Per-Token-compressed

Исходную TinyLlama разработала команда проекта TinyLlama; модель предназначена для генерации текста и диалоговых сценариев с ограниченными требованиями к памяти и вычислительным ресурсам. Это компактная causal language model с архитектурой и токенизатором, совместимыми с Llama 2, примерно с 1,1 млрд параметров. Исходная чат-модель дообучалась на диалоговых данных UltraChat и выравнивалась методом DPO на UltraFeedback. Основной язык — английский, контекст — до 2048 токенов.

Суффикс W8A8-Dynamic-Per-Token означает 8-битное представление весов и активаций; масштабирование активаций выполняется динамически отдельно для каждого токена. Вариант предназначен прежде всего для более экономичного и потенциально более быстрого инференса, включая тестирование интеграции с compressed-tensors и совместимыми средствами запуска. Сжатие уменьшает требования к памяти и размеру модели, но может снижать точность по сравнению с исходной версией; отдельные бенчмарки именно этого варианта в найденных источниках не указаны. Модель текстовая и не предназначена для обработки изображений или аудио.

Для исходной TinyLlama указана лицензия Apache 2.0, однако отдельная карточка точного тестового варианта недоступна, поэтому условия лицензирования именно опубликованного артефакта следует проверять в его репозитории.