Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Архитектура: mistral · dense
Базовая модель: Mistral-7B-Instruct-v0.2
Библиотека: transformers
Опубликована: 15 фев 2024

Ссылки

Hugging Face arXiv 2306.01708

Math-Mixtral-7B

DT12the

Генерация текстаТекст → текст3 профессии

Объединённая модель Mistral на 7,1 млрд параметров для диалоговых ответов на инструкции и решения математических задач.

22скачиваний за 30 дней1лайквеса обновлены15 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DT12the/Math-Mixtral-7B — объединённая языковая модель, созданная методом TIES с помощью mergekit на основе mistralai/Mistral-7B-Instruct-v0.2 и meta-math/MetaMath-Mistral-7B. Модель содержит 7,1 млрд параметров, использует архитектуру Mistral для причинной генерации текста и рассчитана на контекст до 32 768 токенов.

Модель предназначена для диалогового взаимодействия и генерации ответов на инструкции с акцентом на математические вопросы. Она сочетает разговорную основу Mistral Instruct с влиянием MetaMath-Mistral-7B; для merge плотность и вес вклада MetaMath установлены на 0,7. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers.

Сведения о лицензии и количественной оценке качества в предоставленных данных отсутствуют. Как и другие языковые модели, она может ошибаться в вычислениях и объяснениях; ответы следует проверять, особенно в задачах с высокой ценой ошибки.

Сценарии применения

ответы на математические вопросы в диалоге
пошаговое объяснение решений задач
генерация ответов на инструкции
помощь в решении задач по алгебре и арифметике

Ограничения

В предоставленных данных нет результатов оценки качества или сведений о лицензии. Модель может ошибаться в вычислениях и объяснениях, поэтому ответы следует проверять.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the TIES merge method using mistralai/Mistral-7B-Instruct-v0.2 as a base.

Models Merged

The following models were included in the merge:

meta-math/MetaMath-Mistral-7B

Configuration

The following YAML configuration was used to produce this model:


models:
  - model: mistralai/Mistral-7B-Instruct-v0.2
    # No additional parameters needed for the base model
  - model: meta-math/MetaMath-Mistral-7B
    parameters:
      density: 0.7  # A higher density for MetaMath to prioritize its parameters for math questions
      weight: 0.7   # Higher weight to MetaMath to ensure its influence on math-related answers is strong
merge_method: ties
base_model: mistralai/Mistral-7B-Instruct-v0.2
parameters:
  normalize: true
dtype: float16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: f2c2f73