OpenMath-Mistral-7B-v0.1-hf-imatrix-GGUF — это GGUF-квантизации модели OpenMath-Mistral-7B-v0.1-hf, опубликованные пользователем duyntnet.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Исходная модель разработана NVIDIA и предназначена для решения математических задач с текстовым рассуждением и использованием блоков кода, выполняемых интерпретатором Python. Модель обучалась на наборе OpenMathInstruct-1, содержащем 1,8 млн пар «задача—решение», сгенерированных с помощью Mixtral-8x7B-v0.1.
Модель относится к семейству Mistral и имеет размер 7B параметров; поддерживаемый язык — английский, основной сценарий применения — text generation для математических инструкций и задач, где полезна проверка или получение ответа через Python-код. Формат GGUF и imatrix-квантизация ориентированы на запуск в совместимых локальных средствах инференса, однако конкретный уровень квантизации, требования к ресурсам, размер контекста и доступные варианты точности в README не указаны. Лицензия обозначена как other, без дополнительных условий в предоставленных данных.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Quantizations of https://huggingface.co/nvidia/OpenMath-Mistral-7B-v0.1-hf
OpenMath models were designed to solve mathematical problems by integrating text-based reasoning with code blocks executed by Python interpreter. The models were trained on OpenMathInstruct-1, a math instruction tuning dataset with 1.8M problem-solution pairs generated using permissively licensed Mixtral-8x7B model.
Try to run inference with our models with just a few commands!
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.