mistral-small-24b-instruct-2501-awq

Исходную модель разработала Mistral AI, а квантизованные веса опубликованы пользователем casperhansen. Это instruction-tuned большая языковая модель для генерации текста, диалоговых агентов, вызова функций, локального инференса и последующей адаптации под специализированные задачи.

Модель содержит около 24 млрд параметров и использует архитектуру MistralForCausalLM: 40 скрытых слоёв, 32 attention heads и 8 key-value heads. Максимальный контекст — 32 768 токенов. Модель работает с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Квантизация AWQ в формате INT4 уменьшает требования к памяти и делает локальное развёртывание практичнее, но может снижать точность по сравнению с исходными полноразмерными весами.

Сильные стороны — относительно компактный для своего класса размер, поддержка многоязычной генерации, инструкций и function calling, а также возможность локального использования. Ограничения включают текстовую модальность, зависимость качества от выбранного 4-битного квантования и отсутствие подробной отдельной model card для этого производного репозитория. Для исходной Mistral-Small-24B-Instruct-2501 указана лицензия Apache 2.0; точные условия использования производного репозитория следует проверять по его метаданным.