Характеристики

Контекст: 8 192 токена
Параметры: 7,1 млрд
Лицензия: Apache 2.0
Архитектура: mixtral · MoE
Опубликована: 4 апр 2024

Ссылки

Hugging Face

MaidStarling-2x7B-base

dawn17

Генерация текстаТекст → текст3 профессии

Текстовая MoE-модель, объединяющая экспертов для ролевых диалогов и общения.

68скачиваний за 30 дней1лайквеса обновлены13 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MaidStarling-2x7B-base — модель генерации текста на архитектуре Mixtral MoE, опубликованная dawn17. Она объединяет экспертов на основе Silicon-Maid-7B для ролевых диалогов и Starling-LM-7B-beta для общения. В README приведены результаты Open LLM Leaderboard, включая средний балл 70,76, AI2 Reasoning Challenge — 68,43 и HellaSwag — 86,28.

Модель предназначена для генерации текста и диалоговых сценариев; заявленная длина контекста — 8192 токена, формат весов — safetensors, лицензия — Apache-2.0. Метаданные указывают 7,1 млрд параметров. Количественные результаты в README не описывают все стороны качества, поэтому их недостаточно для оценки работы на конкретных задачах.

Сценарии применения

ролевые диалоги с персонажами
генерация реплик для чат-бота
свободное продолжение текста

Ограничения

В README приведены результаты лишь по нескольким бенчмаркам, которые не гарантируют качество в конкретных сценариях. Языковая поддержка в доступных сведениях не обозначена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

    base_model: /Users/dawn/git/models/Silicon-Maid-7B
    gate_mode: hidden # one of "hidden", "cheap_embed", or "random"
    dtype: bfloat16 # output dtype (float32, float16, or bfloat16)
    experts:
      - source_model: /Users/dawn/git/models/Silicon-Maid-7B
        positive_prompts:
            - "roleplay"
      - source_model: /Users/dawn/git/models/Starling-LM-7B-beta
        positive_prompts:
            - "chat"

Open LLM Leaderboard Evaluation Results

Metric	Value
Avg.	70.76
AI2 Reasoning Challenge (25-Shot)	68.43
HellaSwag (10-Shot)	86.28
MMLU (5-Shot)	60.34
TruthfulQA (0-shot)	60.34
Winogrande (5-shot)	78.93
GSM8k (5-shot)	65.43

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: MixtralForCausalLM
Ревизия весов: 551b661