/ Модель
Каталог

Характеристики

Контекст
131 072 токена
Параметры
122 млрд
Лицензия
Своя лицензия
Архитектура
mistral · dense
Базовая модель
Mistral-Large-Instruct-2407
Опубликована
1 авг 2024

Ссылки

Hugging Face

Mistral-Large-Instruct-2407-GGUF

second-state
Генерация текстаТекст → текст15 профессий

Mistral-Large-Instruct-2407-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной mistralai и подготовленной квантизацией компанией Second State Inc.

1 620скачиваний за 30 дней0лайковвеса обновлены6 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для диалоговых приложений, генерации и преобразования текста, работы с инструкциями и запуска локальных сервисов через LlamaEdge.

В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Максимальный контекст составляет 128000 токенов при запуске как LlamaEdge-сервиса; для командного приложения приведён контекст 32000 токенов. Доступны варианты квантизации от Q2_K до Q5_K_M с разным размером файлов и компромиссом между требованиями к ресурсам и качеством. Рекомендуемым назван вариант Q4_K_M, обеспечивающий сбалансированное качество.

Сильными сторонами являются большой контекст, многоязычность и возможность запуска в формате GGUF через LlamaEdge. Более низкие уровни квантизации уменьшают размер модели, но могут существенно ухудшать качество; для Q2_K и ряда Q3/Q4-вариантов README прямо указывает значительную или высокую потерю качества. Архитектура, количество параметров и поддерживаемые модальности в предоставленных данных не указаны; по описанию это текстовая языковая модель. Модель распространяется по лицензии MRL-0.1, обозначенной в README как license: other.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Mistral-Large-Instruct-2407-GGUF

Original Model

mistralai/Mistral-Large-Instruct-2407

Run with LlamaEdge

  • LlamaEdge version: v0.13.0

  • Prompt template

    • Prompt type: mistral-instruct

    • Prompt string

      <s>[INST] {user_message_1} [/INST]{assistant_message_1}</s>[INST] {user_message_2} [/INST]{assistant_message_2}</s>

  • Context size: 128000

  • Run as LlamaEdge service

    wasmedge --dir .:. --nn-preload default:GGML:AUTO:Mistral-Large-Instruct-2407-Q5_K_M.gguf \
    llama-api-server.wasm \
    --prompt-template mistral-instruct \
    --ctx-size 128000 \
    --model-name Mistral-Large-Instruct-2407

  • Run as LlamaEdge command app

    wasmedge --dir .:. --nn-preload default:GGML:AUTO:Mistral-Large-Instruct-2407-Q5_K_M.gguf \
  llama-chat.wasm \
  --prompt-template mistral-instruct \
  --ctx-size 32000

Quantized GGUF Models

NameQuant methodBitsSizeUse case
Mistral-Large-Instruct-2407-Q2_K.ggufQ2_K245.2 GBsmallest, significant quality loss - not recommended for most purposes
Mistral-Large-Instruct-2407-Q3_K_L-00001-of-00003.ggufQ3_K_L329.9 GBsmall, substantial quality loss
Mistral-Large-Instruct-2407-Q3_K_L-00002-of-00003.ggufQ3_K_L329.9 GBsmall, substantial quality loss
Mistral-Large-Instruct-2407-Q3_K_L-00003-of-00003.ggufQ3_K_L34.70 GBsmall, substantial quality loss
Mistral-Large-Instruct-2407-Q3_K_M-00001-of-00002.ggufQ3_K_M329.9 GBvery small, high quality loss
Mistral-Large-Instruct-2407-Q3_K_M-00002-of-00002.ggufQ3_K_M329.2 GBvery small, high quality loss
Mistral-Large-Instruct-2407-Q3_K_S-00001-of-00002.ggufQ3_K_S329.9 GBvery small, high quality loss
Mistral-Large-Instruct-2407-Q3_K_S-00002-of-00002.ggufQ3_K_S329.2 GBvery small, high quality loss
Mistral-Large-Instruct-2407-Q4_0-00001-of-00003.ggufQ4_0430.0 GBlegacy; small, very high quality loss - prefer using Q3_K_M
Mistral-Large-Instruct-2407-Q4_0-00002-of-00003.ggufQ4_0430.0 GBlegacy; small, very high quality loss - prefer using Q3_K_M
Mistral-Large-Instruct-2407-Q4_0-00003-of-00003.ggufQ4_049.09 GBlegacy; small, very high quality loss - prefer using Q3_K_M
Mistral-Large-Instruct-2407-Q4_K_M-00001-of-00003.ggufQ4_K_M430.0 GBmedium, balanced quality - recommended
Mistral-Large-Instruct-2407-Q4_K_M-00002-of-00003.ggufQ4_K_M429.9 GBmedium, balanced quality - recommended
Mistral-Large-Instruct-2407-Q4_K_M-00003-of-00003.ggufQ4_K_M413.3 GBmedium, balanced quality - recommended
Mistral-Large-Instruct-2407-Q4_K_S-00001-of-00003.ggufQ4_K_S429.9 GBsmall, greater quality loss
Mistral-Large-Instruct-2407-Q4_K_S-00002-of-00003.ggufQ4_K_S430.0 GBsmall, greater quality loss
Mistral-Large-Instruct-2407-Q4_K_S-00003-of-00003.ggufQ4_K_S49.67 GBsmall, greater quality loss
Mistral-Large-Instruct-2407-Q5_0-00001-of-00003.ggufQ5_0530.0 GBlegacy; medium, balanced quality - prefer using Q4_K_M
Mistral-Large-Instruct-2407-Q5_0-00002-of-00003.ggufQ5_0530.0 GBlegacy; medium, balanced quality - prefer using Q4_K_M
Mistral-Large-Instruct-2407-Q5_0-00003-of-00003.ggufQ5_0524.4 GBlegacy; medium, balanced quality - prefer using Q4_K_M
Mistral-Large-Instruct-2407-Q5_K_M-00001-of-00003.ggufQ5_K_M529.9 GBlarge, very low quality loss - recommended
Mistral-Large-Instruct-2407-Q5_K_M-00002-of-00003.ggufQ5_K_M529.7 GBlarge, very low quality loss - recommended
Mistral-Large-Instruct-2407-Q5_K_M-00003-of-00003.ggufQ5_K_M526.8 GBlarge, very low quality loss - recommended
Mistral-Large-Instruct-2407-Q5_K_S-00001-of-00003.ggufQ5_K_S530.0 GBlarge, low quality loss - recommended
Mistral-Large-Instruct-2407-Q5_K_S-00002-of-00003.ggufQ5_K_S530.0 GBlarge, low quality loss - recommended
Mistral-Large-Instruct-2407-Q5_K_S-00003-of-00003.ggufQ5_K_S524.4 GBlarge, low quality loss - recommended
Mistral-Large-Instruct-2407-Q6_K-00001-of-00004.ggufQ6_K629.9 GBvery large, extremely low quality loss
Mistral-Large-Instruct-2407-Q6_K-00002-of-00004.ggufQ6_K629.8 GBvery large, extremely low quality loss
Mistral-Large-Instruct-2407-Q6_K-00003-of-00004.ggufQ6_K629.8 GBvery large, extremely low quality loss
Mistral-Large-Instruct-2407-Q6_K-00004-of-00004.ggufQ6_K611.1 GBvery large, extremely low quality loss
Mistral-Large-Instruct-2407-Q8_0-00001-of-00005.ggufQ8_0829.8 GBvery large, extremely low quality loss - not recommended
Mistral-Large-Instruct-2407-Q8_0-00002-of-00005.ggufQ8_0829.8 GBvery large, extremely low quality loss - not recommended
Mistral-Large-Instruct-2407-Q8_0-00003-of-00005.ggufQ8_0829.8 GBvery large, extremely low quality loss - not recommended
Mistral-Large-Instruct-2407-Q8_0-00004-of-00005.ggufQ8_0829.8 GBvery large, extremely low quality loss - not recommended
Mistral-Large-Instruct-2407-Q8_0-00005-of-00005.ggufQ8_0811.1 GBvery large, extremely low quality loss - not recommended
Mistral-Large-Instruct-2407-f16-00001-of-00009.gguff161629.8 GB
Mistral-Large-Instruct-2407-f16-00002-of-00009.gguff161629.8 GB
Mistral-Large-Instruct-2407-f16-00003-of-00009.gguff161629.7 GB
Mistral-Large-Instruct-2407-f16-00004-of-00009.gguff161629.8 GB
Mistral-Large-Instruct-2407-f16-00005-of-00009.gguff161629.7 GB
Mistral-Large-Instruct-2407-f16-00006-of-00009.gguff161629.8 GB
Mistral-Large-Instruct-2407-f16-00007-of-00009.gguff161629.7 GB
Mistral-Large-Instruct-2407-f16-00008-of-00009.gguff161629.7 GB
Mistral-Large-Instruct-2407-f16-00009-of-00009.gguff16167.05 GB

Quantized with llama.cpp b3499.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Класс архитектуры
MistralForCausalLM
Ревизия весов
298a2b1

0 моделей

    Создать бенчмарк