Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Лицензия: CC BY-NC 4.0
Архитектура: mixtral · MoE
Опубликована: 27 дек 2023

Ссылки

Mixtral_7Bx5_MoE_30B

Генерация текстаТекст → текст5 профессий

Генеративная MoE-модель Mixtral, объединяющая пять моделей Mistral 7B для создания текста с контекстом до 32 768 токенов.

89скачиваний за 30 дней1лайквеса обновлены11 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Mixtral_7Bx5_MoE_30B — языковая модель семейства Mixtral с архитектурой Mixture of Experts (MoE), опубликованная cloudyu. Согласно карточке, это объединение пяти моделей на базе Mistral 7B: Toten5/Marcoroni-neural-chat-7B-v1, NurtureAI/neural-chat-7b-v3-16k, mncai/mistral-7b-dpo-v6, cookinai/CatMacaroni-Slerp и ignos/Mistral-T5-7B-v1. Модель предназначена для генерации текста; карточка приводит примеры запуска на GPU и CPU.

В репозитории указано 7,1 млрд параметров, контекст до 32 768 токенов и формат Safetensors. README не описывает специализацию и языковой охват, поэтому модель можно характеризовать только как генеративную языковую модель общего назначения. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

Сценарии применения

генерация ответов и продолжений текста
диалоговые ответы на запросы пользователя
создание черновиков и кратких текстов

Ограничения

README не приводит оценок качества и не уточняет поддерживаемые языки. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Также подходит для

II.1Анализ требований и архитектура ПО

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Mixtral MOE 5x7B

MoE of the following models :

gpu code example

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import math

## v2 models
model_path = "cloudyu/Mixtral_7Bx5_MoE_30B"

tokenizer = AutoTokenizer.from_pretrained(model_path, use_default_system_prompt=False)
model = AutoModelForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float32, device_map='auto',local_files_only=False, load_in_4bit=True
)
print(model)
prompt = input("please input prompt:")
while len(prompt) > 0:
  input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to("cuda")

  generation_output = model.generate(
    input_ids=input_ids, max_new_tokens=500,repetition_penalty=1.2
  )
  print(tokenizer.decode(generation_output[0]))
  prompt = input("please input prompt:")

CPU example

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import math

## v2 models
model_path = "cloudyu/Mixtral_7Bx5_MoE_30B"

tokenizer = AutoTokenizer.from_pretrained(model_path, use_default_system_prompt=False)
model = AutoModelForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float32, device_map='cpu',local_files_only=False
)
print(model)
prompt = input("please input prompt:")
while len(prompt) > 0:
  input_ids = tokenizer(prompt, return_tensors="pt").input_ids

  generation_output = model.generate(
    input_ids=input_ids, max_new_tokens=500,repetition_penalty=1.2
  )
  print(tokenizer.decode(generation_output[0]))
  prompt = input("please input prompt:")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: MixtralForCausalLM
Ревизия весов: 88820ea