Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Questionable-MN — дообученная языковая модель, созданная автором на основе Mistral Nemo Base. Обучение проходило в несколько этапов: использовались набор The X-Files, небольшой закрытый набор данных для ролевых диалогов и дополнительные данные; модель применяет формат общения ChatML.
Модель предназначена для генерации текста и диалогов, в том числе ролевых сценариев. В метаданных указаны архитектура MistralForCausalLM с плотными весами, 12,1 млрд параметров и контекст до 1 024 000 токенов. Автор рекомендует стандартные настройки сэмплирования Nemo и подходящий системный промпт.
Модель распространяется под лицензией Apache-2.0. Автор не сохранил настройки обучения, поэтому процесс обучения и его параметры нельзя воспроизвести по карточке; качество отдельно не охарактеризовано.
Сценарии применения
ведение диалогов в формате ChatML
генерация ролевых ответов и сценариев
продолжение текста по заданному промпту
Ограничения
Автор не сохранил параметры обучения, поэтому детали процесса дообучения нельзя воспроизвести. Качество и языковое покрытие в карточке не описаны.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
My last attempt (for now) at beating up Nemo.
Done in several steps, but basically it's Nemo-Base, plus bigdata-pw/the-x-files, plus a small private set of RP data and a bit of c2 to finish it up. ChatML.
(Realized I forgot to make this one public, heh. Don't have the settings used for training this anymore, sorry. Anyway, it works. Use standard Nemo sampler settings and whatever sysprompt you feel good about, as usual.)