Это совместимые с llama.cpp версии оригинальной модели Saiga Llama3 8B, предназначенные для локального запуска и интерактивного общения с использованием библиотеки llama-cpp-python. В карточке указано обучение или применение датасета IlyaGusev/saiga_scored.
Модель основана на архитектуре Llama 3 и содержит 8 миллиардов параметров. Она работает с текстом на русском языке и поддерживает форматы GGUF с различными уровнями квантования, включая q4_K и q8_0. Конкретная длина контекста в README не указана. Для запуска требуется llama.cpp-совместимое окружение; для версии q8_0 рекомендуется около 10 ГБ оперативной памяти, а для меньших квантований — меньше.
Модель подходит для локальной генерации текста и диалоговых сценариев на русском языке, при этом квантованные версии позволяют снизить требования к памяти. Ограничения включают отсутствие сведений о мультимодальности, точных характеристиках качества и длине контекста, а также зависимость возможностей от выбранной версии квантования и локального программного окружения. Лицензия указана как Llama 3; подробные условия доступны по ссылке на лицензию Meta.