mistral-nemo-instruct-2407-awq

Исходную модель разработали совместно Mistral AI и NVIDIA; она представляет собой instruction-tuned версию Mistral-Nemo-Base-2407 и предназначена для генерации текста, диалогов, следования инструкциям и вызова функций.

Модель содержит около 12 млрд параметров и использует архитектуру Transformer с 40 слоями, размерностью 5120, 32 attention heads и 8 key-value heads в конфигурации GQA, активацией SwiGLU и словарём примерно на 128 тысяч токенов. Исходная модель обучалась с контекстом 128K токенов на многоязычных и программных данных; заявлена поддержка девяти языков, включая русский. AWQ-квантизация до 4 бит уменьшает требования к памяти и подходит для локального инференса через Transformers, vLLM и SGLang, но может немного снижать точность относительно исходной версии.

Сильные стороны — большой контекст, многоязычность, работа с кодом, поддержка диалогового режима и function calling, а также более экономичный инференс благодаря квантизации. Ограничение исходной модели — отсутствие встроенных механизмов модерации, поэтому её ответы могут требовать дополнительного контроля. Для базовой Mistral-Nemo-Instruct-2407 указана лицензия Apache 2.0; отдельная карточка AWQ-репозитория не содержит дополнительного лицензионного описания.