Ministral-8B-Instruct-2410-AWQ

Модель предназначена для локального и периферийного запуска, диалогов, следования инструкциям, генерации кода и работы с function calling.

Основа модели — плотный Transformer примерно на 8 млрд параметров: 36 слоёв, 32 attention heads, 8 KV heads с GQA, размерность скрытого состояния 4096 и словарь из 131 072 токенов с токенизатором V3-Tekken. Модель обучалась на многоязычных и кодовых данных, поддерживает контекст до 128k токенов и использует interleaved sliding-window attention. Репозиторий содержит AWQ-представление с 4-битной квантизацией, что ориентировано на более экономичный локальный инференс.

К сильным сторонам относятся компактный размер, поддержка длинного контекста, многоязычность, задачи программирования и function calling; исходная модель показывала высокие результаты среди моделей сопоставимого размера. Ограничения включают возможное снижение точности из-за квантизации и зависимость от поддержки AWQ конкретным inference-стеком. В vLLM для исходной модели заявлено ограничение контекста 32k из-за отсутствия необходимых attention kernels, поэтому полный контекст 128k требует другого совместимого инструментария. Лицензия — Mistral Research License; для коммерческого использования Mistral AI указывает необходимость получения коммерческой лицензии.