xrag-7b

Hannibal046/xrag-7b — языковая модель автора Hannibal046, представляющая метод xRAG для экстремального сжатия контекста в системах retrieval-augmented generation. Модель основана на Mistral-7B-Instruct-v0.2 и предназначена для генерации ответов с использованием извлечённых из корпуса знаний, представленных в сжатом виде.

Модель имеет архитектуру Mistral с примерно 7,1 млрд параметров, поддерживает текстовую генерацию и диалоговый формат, использует контекст до 32 768 токенов и работает с библиотеками Transformers и PyTorch. Репозиторий xRAG заявляет сокращение вычислительных затрат и сохранение качества на ряде задач, основанных на знаниях; модель рассчитана прежде всего на исследовательские и прикладные RAG-сценарии.

Для работы требуется настроенный процесс извлечения документов и совместимый формат входных данных xRAG; сама модель не является отдельной поисковой системой. В карточке модели лицензия явно не указана, поэтому условия распространения следует проверять в репозитории и файлах модели.