Крупная 4-битная MLX-версия Mistral Large Instruct для генерации ответов и текстов по инструкциям на десяти языках.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Mistral-Large-Instruct-2407-4bit — крупная инструкционная языковая модель семейства Mistral, подготовленная сообществом mlx-community. Она конвертирована из mistralai/Mistral-Large-Instruct-2407 в формат MLX с использованием mlx-lm и предназначена для запуска на устройствах, поддерживающих экосистему MLX.
Модель содержит около 122,2 млрд параметров, использует 4-битную квантизацию и поддерживает контекст длиной до 32 768 токенов. Она ориентирована на генерацию текста по инструкциям: диалоги, ответы на вопросы, составление и редактирование текстов, суммирование и другие сценарии применения общей языковой модели. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки.
Для использования требуется библиотека mlx-lm. 4-битная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с полноточной или менее квантизованной версией. Модель распространяется по лицензии Mistral Research License (MRL-0.1), указанной в карточке как license: other.
4-битная квантизация может снижать точность по сравнению с менее квантизованными версиями. Для запуска требуется совместимая с MLX среда и библиотека mlx-lm.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Mistral-Large-Instruct-2407-4bit was converted to MLX format from mistralai/Mistral-Large-Instruct-2407 using mlx-lm version 0.16.1.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Mistral-Large-Instruct-2407-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.