Mixtraln't 4x7B — экспериментальная языковая модель с архитектурой Mixture of Experts (MoE), созданная chargoddard на основе частей пяти предварительно обученных моделей семейства Mistral. Автор собрал их в архитектуру MoE вместо обучения модели с нуля. В README сообщается, что модель генерирует связный текст, однако эффективность способа заполнения MoE-гейтов остаётся открытым вопросом.

Модель предназначена для генерации текста. Метаданные указывают 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. README не определяет точный формат промпта: упоминаются Alpaca и ChatML как предположения. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.