/ Модель

Характеристики

Контекст
131 072 токена
Параметры
2,2 млрд
Размер весов
5 ГБ
Лицензия
Apache 2.0
Архитектура
llama · dense
Базовая модель
MiniCPM5-2B
Библиотека
mlx
Опубликована
8 сен 2026

MiniCPM5-2B-MLX-BF16

Генерация текстаТекст → текст4 профессии

BF16-конверсия языковой модели OpenBMB MiniCPM5-2B для генерации диалогового текста локально на устройствах Apple Silicon.

45скачиваний за 30 дней0лайковвеса обновлены8 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MiniCPM5-2B-MLX-BF16 — конвертированная для MLX версия языковой модели OpenBMB MiniCPM5-2B, подготовленная для запуска на компьютерах Apple Silicon. Это плотная авторегрессионная модель архитектуры LlamaForCausalLM примерно на 2,2 млрд параметров; в README указаны 42 слоя, GQA с конфигурацией 16Q/2KV и контекст до 131 072 токенов. Репозиторий содержит веса BF16 без квантизации и предназначен для диалоговой генерации текста, в том числе локального использования на устройстве.

Модель унаследовала от базовой MiniCPM5-2B поддержку английского и китайского языков и подходит для общения, генерации продолжений и длинных текстовых запросов. Метаданные также отмечают сценарии вызова инструментов, однако карточка указывает лишь интерфейс text-generation и capability chat, поэтому отдельные возможности инструментального взаимодействия здесь не подтверждены.

Лицензия — Apache-2.0, как у базовой модели. MLX-вариант рассчитан на Apple Silicon; BF16 не является квантизацией, поэтому компактность исходной модели не означает, что эта версия требует мало памяти. Число параметров в метаданных — 2,2 млрд; README приводит 2,5 млрд.

Сценарии применения

  • диалоговый помощник на Mac с Apple Silicon
  • генерация продолжения текста на английском или китайском
  • ответы на длинные текстовые запросы
  • локальный запуск компактной языковой модели
  • черновая генерация текста на устройстве

Ограничения

Версия предназначена для Apple Silicon и использует BF16 без квантизации, что может требовать заметного объёма памяти. В описании не приведены отдельные оценки качества или гарантии работы вызова инструментов.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MiniCPM5-2B-MLX-BF16

MLX BF16 conversion of openbmb/MiniCPM5-2B for Apple Silicon. No quantization — pure BF16. For the official 4-bit MLX release, see openbmb/MiniCPM5-2B-MLX.

  • Architecture: LlamaForCausalLM, 2.5B params, 42 layers, GQA 16Q/2KV, 131k context
  • License: Apache-2.0 (same as upstream)

Converted locally with:

mlx_lm.convert --hf-path openbmb/MiniCPM5-2B \
  --mlx-path MiniCPM5-2B-MLX-BF16 --dtype bfloat16

Usage

pip install mlx-lm
mlx_lm.generate --model junwatu/MiniCPM5-2B-MLX-BF16 \
  --prompt "Who are you?" --max-tokens 128

SGLang (Metal backend):

SGLANG_USE_MLX=1 python -m sglang.launch_server \
  --model-path junwatu/MiniCPM5-2B-MLX-BF16 \
  --disable-cuda-graph --host 127.0.0.1 --port 30000

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры
LlamaForCausalLM
Ревизия весов
724f3ba

0 моделей