random-waifus-4x7b

Datters/random-waifus-4x7b — разговорная языковая модель на основе Mistral-7B-Instruct-v0.2, созданная слиянием четырёх экспертных моделей через случайное переключение gate_mode. В карточке перечислены Neural-Dark-Waifu, Prima-LelantaclesV6-7b, Kunocchini-7b-128k-test и Infinite-Waifu; архитектура Mixtral использует механизм смеси экспертов. Репозиторий содержит веса safetensors в формате bfloat16, размер модели по метаданным — 7,1 млрд параметров, контекст — до 32 768 токенов.

Модель предназначена для генерации текста и диалогового общения. Указанная лицензия — other; конкретные условия использования следует проверять в карточках базовой модели и экспертных моделей. Качество и поведение могут зависеть от случайного выбора эксперта; карточка не приводит оценок качества или подробных ограничений.