chargoddard/llama2-22b — экспериментальная плотная авторегрессионная языковая модель семейства Llama, созданная Chargoddard. В основу взята Llama 2 13B, к которой добавлены некоторые attention heads из оригинальной Llama 33B; затем модель дообучили примерно на 10 млн токенов из RedPajama, чтобы адаптировать добавленные головы. Метаданные указывают 21,6 млрд параметров и контекст около 4098 токенов.

Модель предназначена прежде всего как основа для дальнейшего дообучения, а не для непосредственного применения. Она принимает текст и генерирует текст; карточка приводит результаты оценки на ARC и HellaSwag, но не описывает языковое покрытие или готовые пользовательские сценарии. Доступна в формате PyTorch. Условия лицензии в предоставленных данных не указаны.