xrag-moe

Hannibal046/xrag-moe — языковая модель, разработанная Hannibal046 в рамках проекта xRAG. Она предназначена для генерации текста и использования в системах retrieval-augmented generation (RAG), где извлечённый контекст сжимается до одного токена перед передачей языковой модели. В репозитории разработчика модель указана как xRAG-MoE на базе mistralai/Mixtral-8x7B-Instruct-v0.1.

Модель относится к архитектуре Mixture-of-Experts (MoE), поддерживает text generation и conversational-сценарии, содержит около 7,1 млрд параметров и имеет нативное контекстное окно 32 768 токенов. В качестве базовых инструментов указаны Transformers и PyTorch; модель можно запускать через Transformers, vLLM и SGLang.

Основное преимущество — специализированная работа с RAG и экстремальным сжатием контекста, что может уменьшать объём входных данных при генерации ответов по найденным документам. Модель не является мультимодальной и предназначена для текстовых сценариев. В карточке отсутствуют надёжно указанные языки поддержки, лицензия и подробные сведения о качестве; поэтому эти характеристики нельзя устанавливать по доступным источникам.