Характеристики

Контекст: 131 072 токена
Параметры: 23,4 млрд
Размер весов: 47,1 ГБ
Лицензия: Apache 2.0
Архитектура: mistral · dense
Базовая модель: Devstral-Small-2505
Библиотека: mlx
Опубликована: 21 мая 2025

Ссылки

Devstral-Small-2505-bf16

Генерация текстаТекст → текст

Конвертированная в MLX 23,4-миллиардная модель Mistral AI для диалоговой генерации текста с контекстом до 131 072 токенов.

140скачиваний за 30 дней1лайквеса обновлены21 мая 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mlx-community/Devstral-Small-2505-bf16 — конвертированная в формат MLX версия Devstral-Small-2505 от Mistral AI. Это плотная причинная языковая модель семейства Mistral с 23,4 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Репозиторий создан сообществом mlx-community; конвертация выполнена с помощью mlx-lm версии 0.24.1.

Модель подходит для генерации ответов в чате и других сценариев генерации текста. Заявленная длина контекста — 131 072 токена. Метаданные указывают поддержку множества языков, включая английский, русский, французский, немецкий, испанский, китайский и японский. Репозиторий содержит веса safetensors в формате MLX.

Модель распространяется по лицензии Apache-2.0. Это конверсия базовой модели, поэтому её возможности и ограничения в основном определяются Devstral-Small-2505; качество ответов, актуальность знаний и корректность результатов могут различаться в зависимости от запроса и сценария использования.

Сценарии применения

генерация ответов в диалоговом интерфейсе
создание и продолжение текстов
многоязычные текстовые запросы и ответы

Ограничения

Модель унаследовала ограничения базовой Devstral-Small-2505; ответы могут содержать ошибки и требуют проверки в критически важных сценариях.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlx-community/Devstral-Small-2505-bf16

This model mlx-community/Devstral-Small-2505-bf16 was converted to MLX format from mistralai/Devstral-Small-2505 using mlx-lm version 0.24.1.

Use with mlx

pip install mlx-lm

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Devstral-Small-2505-bf16")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: MistralForCausalLM
Ревизия весов: 32aa4f5