llama2.c-stories15M

Модель основана на архитектуре Llama 2 из проекта llama2.c, разработанного Andrej Karpathy, и предназначена прежде всего для тестирования, обучения и экспериментов с компактным LLM-инференсом.

Модель имеет около 15,2 млн параметров и поддерживает задачу text generation. Это decoder-only Transformer архитектуры Llama: 6 слоёв, 6 attention heads, hidden size 288, intermediate size 768, vocabulary size 32 000 и максимальную длину контекста 256 токенов. Доступна в формате F32; поддерживаются PyTorch, Transformers, Transformers.js, ONNX и совместимые средства инференса. Мультимодальность не заявлена. Модель обучена на наборе TinyStories и ориентирована на короткие простые истории, поэтому её возможности существенно уже, чем у универсальных LLM.

Сильные стороны — очень малый размер, низкие требования к ресурсам, высокая скорость локального инференса и удобство для образовательных и тестовых сценариев. Ограничения — небольшой контекст, низкая ёмкость и специализация на коротких повествовательных текстах; модель не предназначена для надёжных ответов на общие вопросы, сложного рассуждения, диалоговых задач или производственных приложений. Лицензия для репозитория nm-testing в доступных материалах явно не указана.