Описание составлено по карточке модели и метаданным Hugging Face
mistral-nemo-wissenschaft-12B — дообученная модель для генерации текста на основе Mistral-Nemo-Instruct-2407 от Mistral AI и NVIDIA. Разработчик дообучил её на текстовой части набора ScienceQA в течение одной эпохи; в README также описан выбор верных ответов как предпочтительных и случайных неверных как отклоняемых.
Модель предназначена для диалога и ответов на вопросы, в том числе по научным темам и заданиям ScienceQA. Это плотная архитектура MistralForCausalLM с 12,1 млрд параметров, рассчитанная на контекст до 1 024 000 токенов. Карточка указывает библиотеку Transformers и формат safetensors; базовая модель поддерживает несколько языков, однако конкретный языковой охват этого дообучения не уточнён.
В README приведены результаты оценивания: среднее значение 24,58, IFEval — 65,20 и BBH — 29,57; эти цифры сами по себе не характеризуют качество ответов на ScienceQA. Модель выпущена под лицензией Apache-2.0. Ограничения включают узкую специализацию дообучения и малый объём описанных сведений об оценке именно научных ответов.
Сценарии применения
ответы на вопросы из текстовых заданий ScienceQA
объяснение научных вопросов в диалоге
генерация ответов на инструкции на естественном языке
Ограничения
Дообучение выполнено за одну эпоху на текстовой части ScienceQA, поэтому специализация модели ограничена этим набором данных. В README не приведены отдельные метрики качества на ScienceQA.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Finetuned using an A100 on Google Colab for 1 epoch. Correct answers were selected as the chosen answer, a random wrong answer was selected as "rejected."