/ Модель
Каталог

Характеристики

Лицензия
Своя лицензия
Базовая модель
Mistral-Large-Instruct-2407
Библиотека
gguf
Опубликована
24 июл 2024

Ссылки

Hugging Face

Mistral-Large-Instruct-2407-IMat-GGUF

legraphista
Генерация текстаТекст → текст15 профессий

Mistral-Large-Instruct-2407-IMat-GGUF — это набор квантованных версий Mistral-Large-Instruct-2407, разработанной Mistral AI.

900скачиваний за 30 дней29лайковвеса обновлены25 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Квантование выполнил legraphista с использованием llama.cpp версии b3452 и метода IMatrix. Модель предназначена для генерации текста и запуска в совместимой инфраструктуре llama.cpp и других инструментах, поддерживающих формат GGUF.

Модель рассчитана на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; размеры файлов составляют примерно от 45,20 до 245,23 ГБ. Версии Q4_K и более компактные используют IMatrix, что предназначено для сохранения качества при квантовании. Все варианты представлены в виде разделённых файлов.

Сильная сторона набора — широкий выбор точностей и размеров, позволяющий подобрать компромисс между качеством, требованиями к памяти и производительностью. Ограничения — значительный объём файлов, необходимость специального программного обеспечения для запуска и отсутствие в README сведений о размере контекста, числе параметров, конкретных результатах тестирования и поддержке мультимодальных входов. Модель распространяется по лицензии Mistral Research License 0.1 (MRL-0.1).

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Mistral-Large-Instruct-2407-IMat-GGUF

Llama.cpp imatrix quantization of mistralai/Mistral-Large-Instruct-2407

Original Model: mistralai/Mistral-Large-Instruct-2407
Original dtype: BF16 (bfloat16)
Quantized by: llama.cpp b3452
IMatrix dataset: here

Files

IMatrix

Status: ✅ Available
Link: here

Common Quants

FilenameQuant typeFile SizeStatusUses IMatrixIs Split
Mistral-Large-Instruct-2407.Q8_0/*Q8_0130.28GB✅ Available⚪ Static✂ Yes
Mistral-Large-Instruct-2407.Q6_K/*Q6_K100.59GB✅ Available⚪ Static✂ Yes
Mistral-Large-Instruct-2407.Q4_K/*Q4_K73.22GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.Q3_K/*Q3_K59.10GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.Q2_K/*Q2_K45.20GB✅ Available🟢 IMatrix✂ Yes

All Quants

FilenameQuant typeFile SizeStatusUses IMatrixIs Split
Mistral-Large-Instruct-2407.BF16/*BF16245.23GB✅ Available⚪ Static✂ Yes
Mistral-Large-Instruct-2407.FP16/*F16245.23GB✅ Available⚪ Static✂ Yes
Mistral-Large-Instruct-2407.Q8_0/*Q8_0130.28GB✅ Available⚪ Static✂ Yes
Mistral-Large-Instruct-2407.Q6_K/*Q6_K100.59GB✅ Available⚪ Static✂ Yes
Mistral-Large-Instruct-2407.Q5_K/*Q5_K86.49GB✅ Available⚪ Static✂ Yes
Mistral-Large-Instruct-2407.Q5_K_S/*Q5_K_S84.36GB✅ Available⚪ Static✂ Yes
Mistral-Large-Instruct-2407.Q4_K/*Q4_K73.22GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.Q4_K_S/*Q4_K_S69.57GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.IQ4_NL/*IQ4_NL69.22GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.IQ4_XS/*IQ4_XS65.43GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.Q3_K/*Q3_K59.10GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.Q3_K_L/*Q3_K_L64.55GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.Q3_K_S/*Q3_K_S52.85GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.IQ3_M/*IQ3_M55.28GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.IQ3_S/*IQ3_S53.00GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.IQ3_XS/*IQ3_XS50.14GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.IQ3_XXS/*IQ3_XXS47.01GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.Q2_K/*Q2_K45.20GB✅ Available🟢 IMatrix✂ Yes
Mistral-Large-Instruct-2407.Q2_K_S.ggufQ2_K_S41.61GB✅ Available🟢 IMatrix📦 No
Mistral-Large-Instruct-2407.IQ2_M.ggufIQ2_M41.62GB✅ Available🟢 IMatrix📦 No
Mistral-Large-Instruct-2407.IQ2_S.ggufIQ2_S38.38GB✅ Available🟢 IMatrix📦 No
Mistral-Large-Instruct-2407.IQ2_XS.ggufIQ2_XS36.08GB✅ Available🟢 IMatrix📦 No
Mistral-Large-Instruct-2407.IQ2_XXS.ggufIQ2_XXS32.43GB✅ Available🟢 IMatrix📦 No
Mistral-Large-Instruct-2407.IQ1_M.ggufIQ1_M28.39GB✅ Available🟢 IMatrix📦 No
Mistral-Large-Instruct-2407.IQ1_S.ggufIQ1_S25.96GB✅ Available🟢 IMatrix📦 No

Downloading using huggingface-cli

If you do not have hugginface-cli installed:

pip install -U "huggingface_hub[cli]"

Download the specific file you want:

huggingface-cli download legraphista/Mistral-Large-Instruct-2407-IMat-GGUF --include "Mistral-Large-Instruct-2407.Q8_0.gguf" --local-dir ./

If the model file is big, it has been split into multiple files. In order to download them all to a local folder, run:

huggingface-cli download legraphista/Mistral-Large-Instruct-2407-IMat-GGUF --include "Mistral-Large-Instruct-2407.Q8_0/*" --local-dir ./
# see FAQ for merging GGUF's

Inference

Llama.cpp

llama.cpp/main -m Mistral-Large-Instruct-2407.Q8_0.gguf --color -i -p "prompt here"

FAQ

Why is the IMatrix not applied everywhere?

According to this investigation, it appears that lower quantizations are the only ones that benefit from the imatrix input (as per hellaswag results).

How do I merge a split GGUF?

  1. Make sure you have gguf-split available
  2. Locate your GGUF chunks folder (ex: Mistral-Large-Instruct-2407.Q8_0)
  3. Run gguf-split --merge Mistral-Large-Instruct-2407.Q8_0/Mistral-Large-Instruct-2407.Q8_0-00001-of-XXXXX.gguf Mistral-Large-Instruct-2407.Q8_0.gguf
    • Make sure to point gguf-split to the first chunk of the split.

Got a suggestion? Ping me @legraphista!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
8a31f25

0 моделей

    Создать бенчмарк