stories-llama2-50k

stories-llama2-50k — экспериментальная языковая модель семейства Llama, обученная командой delphi-suite на наборе stories. Это компактный плотный авторегрессионный трансформер с архитектурой LlamaForCausalLM: 49 554 параметра, один слой, размер скрытого состояния 6, 3 query heads и 1 key-value head. Модель предназначена для генерации текста, в частности коротких историй на английском языке; контекст составляет 512 токенов.

Модель опубликована в формате safetensors и использует библиотеку delphi. README указывает на обучение с помощью delphi и датасет delphi-suite/stories. Это крайне малый чекпойнт из экспериментального семейства моделей разных размеров, поэтому его возможности и качество генерации существенно ограничены по сравнению с полноразмерными языковыми моделями. Лицензия — Apache-2.0.