/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
68,7 млрд
Лицензия
Своя лицензия
Архитектура
mixtral · MoE
Базовая модель
miqu-1-70b-sf
Опубликована
7 фев 2024

Grafted-Wind-Elementals-2x70B

Генерация текстаТекст → текст8 профессий

MoE-модель на 68,7 млрд параметров для генерации текста и диалогов с контекстом до 32 768 токенов.

22скачиваний за 30 дней0лайковвеса обновлены10 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Grafted-Wind-Elementals-2x70B — языковая модель для генерации текста, созданная как MoE-слияние моделей alchemonaut/BoreanGale-70B и ShinojiResearch/Senku-70B-Full. В карточке она описана как модель с сильными навыками письма; также приведены результаты оценки на задачах рассуждения и понимания текста. Архитектура репозитория — Mixtral MoE с классом MixtralForCausalLM, а объём модели по метаданным составляет 68,7 млрд параметров.

Модель предназначена для генерации текста и диалогов. Она принимает текст, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. README указывает на лицензию только для некоммерческого исследовательского использования. Английский язык указан в описании базовой модели каталога; другие языки карточкой не подтверждены.

Сценарии применения

  • написание и продолжение текстов
  • ведение диалогов на английском языке
  • генерация развёрнутых ответов по текстовому запросу
  • решение задач на рассуждение и понимание текста

Ограничения

Лицензия ограничивает использование некоммерческими исследовательскими целями. README не подтверждает поддержку языков помимо английского.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Grafted-Wind-Elementals-2x70B

<img src=https://huggingface.co/lodrick-the-lafted/Grafted-Wind-Elementals-2x70B/resolve/main/gwl.png>

A MoE merge of:

Why use one 70B when you could use two? I really liked this model's writing ability. Just need a few more 3090s, right?

License: Non-commercial research use only.

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.76.21
AI2 Reasoning Challenge (25-Shot)73.38
HellaSwag (10-Shot)89.08
MMLU (5-Shot)75.79
TruthfulQA (0-shot)65.57
Winogrande (5-shot)84.85
GSM8k (5-shot)68.61

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
MixtralForCausalLM
Ревизия весов
2de23be

0 моделей