Ministral-3b-instruct-imatrix-GGUF — набор GGUF-квантизаций инструкционно дообученной языковой модели Ministral, опубликованный пользователем duyntnet.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель основана на архитектуре семейства Mistral и предназначена для генерации текста и выполнения инструкций, включая локальный запуск через llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan.
Модель имеет около 3 млрд параметров, относится к GPT-подобным моделям и была дообучена на смеси общедоступных и синтетических наборов данных. Основной язык — английский. В репозитории представлены варианты в формате GGUF с imatrix-квантизацией, что ориентировано на более эффективное локальное использование при сниженных требованиях к памяти, хотя конкретные уровни квантизации и их характеристики не указаны.
Сильными сторонами являются компактный размер, поддержка распространённых инструментов локального инференса и возможность работы на менее мощном оборудовании по сравнению с более крупными моделями. Ограничения включают преимущественно англоязычную направленность, отсутствие заявленной поддержки других модальностей и недостаток информации о контексте, точных характеристиках квантизации и результатах оценки качества. В исходном описании указана лицензия Apache 2.0; модель дообучена на базе Mistral-7B-v0.1.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Quantizations of https://huggingface.co/ministral/Ministral-3b-instruct
Ministral is a series of language model, build with same architecture as the famous Mistral model, but with less size.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.