Mixtral-8x7B-Instruct-v0.1-AWQ

Исходную модель разработала Mistral AI. Она предназначена для генерации текста, диалоговых сценариев и выполнения инструкций; поддерживает запуск через Transformers, vLLM и SGLang.

В основе лежит decoder-only Transformer с разреженной архитектурой Mixture of Experts: восемь experts примерно по 7B параметров, из которых для каждого токена выбираются два. Всего модель содержит около 47B параметров, но во время обработки токена активно используется около 13B. Контекстное окно исходной модели составляет 32K токенов. Модель обучалась на многоязычных данных и демонстрирует сильные результаты в рассуждениях, математике, генерации кода и многоязычных задачах; версия Instruct дополнительно дообучена следовать инструкциям с использованием supervised fine-tuning и Direct Preference Optimization.

Ключевое преимущество этой версии — снижение требований к памяти благодаря AWQ-квантизации до 4 бит при сохранении функциональности исходной модели. Ограничения включают значительный общий объём параметров и соответствующие требования к памяти, а также возможные накладные расходы MoE-маршрутизации; эффективность зависит от совместимого программного обеспечения и GPU. Для исходной Mixtral 8x7B Instruct указана лицензия Apache 2.0, допускающая академическое и коммерческое использование; для конкретного квантованного репозитория условия следует проверять отдельно.