/ Модель

Характеристики

Контекст
65 536 токенов
Параметры
22 млрд
Размер весов
281 ГБ
Архитектура
mixtral · MoE
Базовая модель
Eurux-8x22b-nca
Библиотека
transformers
Опубликована
13 июн 2024

WizardLM-2-8x22B-Beige

Генерация текстаТекст → текст8 профессий

Объединённая диалоговая модель на архитектуре Mixtral MoE для генерации текстовых ответов с более сдержанным стилем WizardLM.

59скачиваний за 30 дней4лайкавеса обновлены15 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

WizardLM-2-8x22B-Beige — объединённая диалоговая языковая модель, созданная с помощью mergekit на основе alpindale/WizardLM-2-8x22B и моделей Eurux, Tess и Mixtral Instruct. Слияние выполнено методом Model Stock в формате bfloat16. Модель предназначена для генерации текста в диалоге; её автор стремился сделать стиль ответов WizardLM-2-8x22B менее многословным и образным.

Модель использует архитектуру Mixtral MoE и содержит 22 млрд параметров, поддерживает контекст до 65 536 токенов. Подходит для диалоговых ответов и генерации текста на основе запросов. Карточка не уточняет языковой охват и не приводит оценок качества. Распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Сценарии применения

  • ведение диалога с языковой моделью
  • генерация ответов на пользовательские запросы
  • создание связного текста по заданной теме

Ограничения

Языковой охват и оценки качества в предоставленных данных не описаны. Сведение стиля к менее многословному указано как цель автора, но не сопровождается количественной оценкой.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

WizardLM-2-8x22B-Beige

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the Model Stock merge method using alpindale/WizardLM-2-8x22B as a base.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

models:
  - model: alpindale/WizardLM-2-8x22B
  - model: openbmb/Eurux-8x22b-nca
  - model: migtissera/Tess-2.0-Mixtral-8x22B
  - model: fireworks-ai/mixtral-8x22b-instruct-oh
base_model: alpindale/WizardLM-2-8x22B
merge_method: model_stock
dtype: bfloat16

This model is an attempt to tone down the purple prose of WizardLM2-8X22B Here's an example:

Prompt:

USER: A dead cat is placed into a box along with a nuclear isotope, a vial of poison and a radiation detector. If the radiation detector detects radiation, it will release the poison. The box is opened one day later. What is the probability of the cat being alive?
Repeat the question before answering it.

WizardLM2-8X22B-Beige:

ASSISTANT: A dead cat is placed into a box along with a nuclear isotope, a vial of poison, and a radiation detector. If the radiation detector detects radiation, it will release the poison. The box is opened one day later. What is the probability of the cat being alive?
The probability of the cat being alive is zero. Since the cat is dead when placed into the box, it will remain dead regardless of the radiation detector or the poison being released or not.

WizardLM2-8X22B:

The scenario you've described is a thought experiment that is often referred to as "Schrödinger's cat," a famous paradox in quantum mechanics. The experiment was devised by physicist Erwin Schrödinger in 1935. Repeating the question: If a dead cat is placed into a box along with a nuclear isotope, a vial of poison, and a radiation detector that will release the poison upon detecting radiation, what is the probability of the cat being alive when the box is opened one day later?

In the original paradox, the cat is considered to be simultaneously alive and dead until the box is opened and the cat is observed. This is a way to illustrate the concept of superposition in quantum mechanics, where a quantum system is said to exist in all possible states simultaneously until it is measured.

However, in the scenario you've described, the cat is explicitly stated to be dead when placed in the box. Therefore, regardless of the quantum state of the isotope or the function of the radiation detector and poison, the cat is not alive to begin with. The probability of the cat being alive when the box is opened is zero because it was dead at the outset.

In the classic Schrödinger's cat thought experiment, if the cat were alive when placed in the box, quantum mechanics would suggest that there is a non-zero probability that the cat could be either alive or dead when the box is opened, depending on whether the isotope has decayed and triggered the release of the poison. But in your version, with the cat being definitively dead initially, there is no probability of it being alive later—it remains dead.

EXL2 quants by LoneStriker https://huggingface.co/models?search=LoneStriker+WizardLM-2-8x22B-Beige

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
MixtralForCausalLM
Ревизия весов
63baf5e

0 моделей