Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
MOEmoe-3x7B-BF16 — языковая модель для генерации текста, созданная Goerge Roby и командой theCREW (DR Studios) как их первая модель с архитектурой Mixture of Experts на базе Mixtral. В README указано, что в неё объединены три компонента: эксперт Minstrel для личности и работы с инструментами, OpenChat 3.5 для логики и рассуждений и Eurus-7b-kto для математических задач. Метаданные указывают архитектуру MixtralForCausalLM и 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов.
Модель предназначена для диалоговой генерации, рассуждений, математических запросов и сценариев с инструментами. Карточка не сообщает поддерживаемые естественные языки, лицензию или результаты оценки качества, поэтому эти характеристики нельзя уточнить. В метаданных указан формат Safetensors; название BF16 присутствует в имени модели, но параметры точности в карточке отдельно не описаны. Лицензия в предоставленных данных не указана.
Сценарии применения
генерация ответов в диалоговом интерфейсе
пошаговые рассуждения по текстовым запросам
решение математических задач
создание чат-ассистента с поддержкой инструментов
Ограничения
В карточке не указаны поддерживаемые языки, лицензия и результаты оценки качества; заявленные возможности рассуждения, математики и работы с инструментами не сопровождаются бенчмарками или подробными инструкциями по использованию.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Architecture: Built from 3 models: [M] MixtralForCausalLM (model_type: mixtral), 1 expert [MINSTRAL] Minstrel Is Lee personality and tool department followed by [O] `openchat/openchat-3.5 Whose role is the logic and reasoning, Proceeded by:[E] openbmb/Eurus-7b-kto Who is head of the math department for a total of a 19B M.O.E. Named: "MOEmoe" Which is my very first M.O.E. Or as I like to say: "Mistral of Exports 😎. Next I will then be creating a couple of this in new specialized custom quants thus reducing it down to an estimated 7GB With your loss intelligence or abilities Stay tuned
Goerge Roby & 'theCREW' [DR Studios]
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров