Дообученная Mistral-модель на 7,1 млрд параметров для генерации решений математических задач и ответов, связанных с кодом.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Maverick-Math-7B — плотная Mistral-модель на 7,1 млрд параметров, дообученная разработчиком feeltheAGI на математических и программных данных. Она предназначена для генерации ответов при решении математических задач, в том числе текстовых задач и задач на рассуждение; в карточке приведены результаты на GSM8K и MathQA. Модель поддерживает контекст до 32 768 токенов и распространяется в формате PyTorch.
Модель можно использовать для получения решений и объяснений к математическим задачам, а также для задач, связанных с кодом. Доступные результаты бенчмарков дают ориентир по математическим задачам, но сами по себе не гарантируют точность ответов в практическом применении. Лицензия — Apache-2.0.
В карточке приведены только результаты на GSM8K и MathQA; они не позволяют оценить качество на других математических задачах или в программировании. Не следует считать ответы гарантированно точными без проверки.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Maverick-Math is a Mistral Fine-tune, on top of math and code datasets and performs very well on benchmarks .
| Tasks | Version | Filter | n-shot | Metric | Value | Stderr | |
|---|---|---|---|---|---|---|---|
| gsm8k | 3 | strict-match | 5 | exact_match | 0.7331 | ± | 0.0122 |
| flexible-extract | 5 | exact_match | 0.7400 | ± | 0.0121 |
| Tasks | Version | Filter | n-shot | Metric | Value | Stderr | |
|---|---|---|---|---|---|---|---|
| mathqa | 1 | none | None | acc | 0.3591 | ± | 0.0088 |
| none | None | acc_norm | 0.3635 | ± | 0.0088 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…