TinyLlama/tinyLlama-intermediate-checkpoints-after-1T-token — набор промежуточных контрольных точек проекта TinyLlama, разработанного для предварительного обучения компактной языковой модели семейства Llama. В коллекцию входят чекпойнты после исправления на этапе 1T токенов; ветка указывает шаг обучения и число обработанных токенов. В метаданных модель классифицирована как text-generation, указаны архитектура LlamaForCausalLM, плотная структура, формат PyTorch и размер 1 млрд параметров.

README описывает целевую модель TinyLlama как модель на 1,1 млрд параметров с архитектурой и токенизатором Llama 2; контекст в метаданных — 2048 токенов. Модель предназначена для генерации текста при ограниченных требованиях к памяти и вычислениям. README не приводит оценок качества именно этих промежуточных контрольных точек. Лицензия репозитория — Apache-2.0.