Candle_Mistral-Trismegistus-7B

Это производная от teknium/Mistral-Trismegistus-7B, который, в свою очередь, создан на базе Mistral-7B-v0.1. Модель предназначена для генерации текста и диалоговых сценариев, связанных с эзотерикой, оккультизмом, духовными темами и ролевыми ответами. Обучение исходной модели проводилось на примерно 10 000 синтетических примерах, сгенерированных GPT-4, и охватывало широкий набор задач и знаний в этих областях.

Модель имеет архитектуру MistralForCausalLM и около 7 млрд параметров, поддерживает text generation, Transformers и GGUF. Указанный контекст составляет до 32 768 токенов, язык модели — английский. Репозиторий содержит варианты квантования GGUF, включая 4-, 5- и 8-битные версии, что позволяет запускать модель с меньшими требованиями к памяти, в том числе локально. Модель поддерживает только текстовые входы и выходы.

Сильная сторона модели — специализация на эзотерической, оккультной и духовной тематике, а также возможность быстрого локального запуска благодаря размеру 7B и квантованным вариантам. Ограничения включают узкую предметную специализацию, отсутствие заявленных результатов стандартных бенчмарков и отсутствие мультимодальных возможностей; качество ответов для общих, фактических или критически важных задач по карточке модели не подтверждено. Лицензия — Apache 2.0.