QuantFactory/Ministral-3b-instruct-GGUF — квантованная версия языковой модели ministral/Ministral-3b-instruct, созданная QuantFactory с использованием llama.cpp.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
В основе лежит GPT-подобная архитектура семейства Mistral с примерно 3 млрд параметров; модель дообучена на смеси общедоступных и синтетических наборов данных и основана на Mistral-7B-v0.1.
Модель предназначена для генерации текста и инструкционного взаимодействия, включая запуск локальных сценариев благодаря квантованному формату GGUF. Она ориентирована прежде всего на английский язык и относится к моделям текстовой генерации. Ключевое преимущество — меньшее количество параметров по сравнению с крупными моделями Mistral, что потенциально упрощает локальное развертывание, однако README не указывает конкретные требования к памяти, варианты квантования, размер контекста, точные показатели качества или поддерживаемые модальности. Лицензия — Apache 2.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is quantized version of ministral/Ministral-3b-instruct created using llama.cpp
Ministral is a series of language model, build with same architecture as the famous Mistral model, but with less size.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.
