Sheared-LLaMA-1.3B-Pruned

Sheared-LLaMA-1.3B-Pruned — плотная авторегрессионная языковая модель семейства LLaMA, созданная исследователями Princeton NLP удалением параметров из meta-llama/Llama-2-7b-hf. Это версия без дополнительного предварительного обучения после прореживания; эксперимент проводился с использованием примерно 0,4 млрд токенов. Модель предназначена прежде всего для изучения влияния структурного прореживания на знания и способности к рассуждению, сравнения методов прореживания и исследований продолжения предварительного обучения.

Модель содержит 1,3 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 4096 токенов. Репозиторий содержит веса PyTorch, а использование должно соответствовать лицензии Llama 2. Поскольку модель не проходила продолжительное обучение после удаления параметров, её практическое качество может быть ограничено; README рекомендует её для экспериментальных сравнений и оценок.