Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Metis-0.1 — диалоговая языковая модель от Mihaiii, созданная дообучением Mistral-7B-SFT-Beta. Она предназначена для рассуждений и понимания текста, хорошо работает с длинными системными инструкциями; карточка отдельно отмечает, что модель не рассчитана на свободное сочинение историй. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов.
Для взаимодействия в README предложен формат с полями System, Instruction и Response. Модель обучена на частном наборе данных; README указывает, что высокий результат на GSM8K не связан с набором MetaMath. Лицензия — MIT.
Сценарии применения
ответы на вопросы с учётом длинной системной инструкции
рассуждение над текстовыми задачами
понимание и анализ текста
диалоговое взаимодействие с языковой моделью
Ограничения
Не предназначена для общего творческого письма, например сочинения историй. Обучающие данные частные, поэтому их состав и охват нельзя проверить по карточке модели.
Для каких профессий подходит9
Разделы каталога профессий, в задачах которых используется эта модель