Преобразованная в MLX версия дообученной 12,1-миллиардной модели Mistral Nemo для диалоговой генерации текста, кода и ответов на инструкции.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mlx-community/Dolphin-2.9.3-Mistral-Nemo-12b-bf16 — преобразованная в формат MLX версия Dolphin 2.9.3 на базе Mistral Nemo, подготовленная сообществом mlx-community. Это плотная языковая модель с архитектурой MistralForCausalLM и 12,1 млрд параметров, предназначенная для генерации текста и диалогового общения.
Модель дообучена на базе mistralai/Mistral-Nemo-Base-2407; среди датасетов указаны Dolphin-2.9, OpenHermes-2.5, наборы для программирования, математики, вызова функций и агентных сценариев. Каталог указывает контекст до 1 024 000 токенов. Репозиторий содержит веса safetensors, а README описывает конвертацию в MLX с помощью mlx-lm 0.16.1, поэтому модель рассчитана на запуск в экосистеме MLX.
Подходит для ответов на вопросы, следования инструкциям, генерации кода и решения математических задач. В метаданных указана лицензия Apache-2.0. Практическая применимость заявленной длины контекста и качество на конкретных задачах отдельно не подтверждены в предоставленной карточке.
Предоставленные сведения не подтверждают качество на отдельных задачах или практическую применимость контекста длиной до 1 024 000 токенов. Для запуска в описанном README сценарии требуется экосистема MLX.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Dolphin-2.9.3-mistral-nemo-12b-bf16 was converted to MLX format from cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b using mlx-lm version 0.16.1.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Dolphin-2.9.3-mistral-nemo-12b-bf16")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.