Характеристики

Контекст: 32 768 токенов
Параметры: 23,4 млрд
Размер весов: 47,1 ГБ
Лицензия: Apache 2.0
Архитектура: mistral · dense
Базовая модель: Mistral-Small-24B-Instruct-2501
Библиотека: vllm
Опубликована: 30 янв 2025

Ссылки

Mistral-Small-24B-Instruct-2501-bf16

Генерация текстаТекст → текст15 профессий

Конвертированная в MLX многоязычная инструктивная модель Mistral с 23,4 млрд параметров для диалогов и генерации текста по запросам.

68скачиваний за 30 дней6лайковвеса обновлены30 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

MUSR
MUSR Raw · выше — лучше
Результат
0,4618
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,5395
Open LLM v2 · архив
Публичная таблицаревизия совпадает
GPQA
GPQA Raw · выше — лучше
Результат
0,3951
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,3225
Open LLM v2 · архив
Публичная таблицаревизия совпадает
BBH
BBH Raw · выше — лучше
Результат
0,6713
Open LLM v2 · архив
Публичная таблицаревизия совпадает
IFEval
IFEval Raw · выше — лучше
Результат
0,6283
Open LLM v2 · архив
Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Mistral-Small-24B-Instruct-2501-bf16 — конвертированная в формат MLX версия инструктивной языковой модели Mistral AI Mistral-Small-24B-Instruct-2501, подготовленная сообществом mlx-community для запуска на устройствах Apple с MLX. Модель представляет собой плотную авторегрессионную архитектуру MistralForCausalLM с 23,4 млрд параметров и контекстом до 32 768 токенов.

Она предназначена для диалогов и генерации текста по инструкциям на нескольких языках. Подходит для ответов на вопросы, составления и редактирования текстов, суммаризации и многоязычных ассистентских сценариев. Метаданные указывают поддержку английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков.

Репозиторий содержит веса в safetensors и описывает конвертацию в MLX с помощью mlx-lm 0.21.1. Лицензия — Apache 2.0. Качество ответов и следование инструкциям зависят от формулировки запроса; как и другие языковые модели, она может генерировать ошибки и недостоверные сведения.

Сценарии применения

ответы на вопросы в диалоговом интерфейсе
генерация текста по инструкциям
суммаризация документов
составление и редактирование текстов
многоязычный виртуальный помощник

Ограничения

Модель может допускать фактические ошибки и выдавать недостоверные ответы. Репозиторий содержит MLX-конверсию, поэтому для запуска требуется совместимое окружение MLX.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlx-community/Mistral-Small-24B-Instruct-2501-bf16

The Model mlx-community/Mistral-Small-24B-Instruct-2501-bf16 was converted to MLX format from mistralai/Mistral-Small-24B-Instruct-2501 using mlx-lm version 0.21.1.

Use with mlx

pip install mlx-lm

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Mistral-Small-24B-Instruct-2501-bf16")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · vllm

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: MistralForCausalLM
Ревизия весов: 92ae924