/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Лицензия
Apache 2.0
Архитектура
mixtral · MoE
Опубликована
6 мая 2024

Lumina-5-Instruct

Генерация текстаТекст → текст6 профессий

Lumina-5-Instruct — диалоговая MoE-модель на 7,1 млрд параметров для генерации текста с контекстом до 32 768 токенов.

22скачиваний за 30 дней0лайковвеса обновлены23 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Lumina-5-Instruct — разговорная языковая модель на архитектуре Mixture of Experts (MoE), созданная Ppoyaa с помощью LazyMergekit. Она предназначена для генерации текста в формате диалога и поддерживает контекст до 32 768 токенов. В метаданных указано 7,1 млрд параметров, формат весов Safetensors и лицензия Apache 2.0.

Модель можно применять для диалоговых интерфейсов, генерации и продолжения текста с учётом длинного контекста. README не приводит результатов оценки качества; характеристики языковой поддержки и специализированных областей не заявлены.

Сценарии применения

  • создание диалогового помощника
  • генерация ответов в чат-интерфейсе
  • продолжение текста с учётом длинного контекста

Ограничения

README не содержит результатов оценки качества модели. Поддерживаемые языки и специализированные области применения не заявлены.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Lumina-5-Instruct

Lumina-5-Instruct is a Mixture of Experts (MoE) made with LazyMergekit. This model uses a context window of up to 32k.

Response Examples

Input: 25 - 4 * 2 + 3 = ?
------------------------------------
Output: To solve this equation, follow the order of operations (PEMDAS/BODMAS): Parentheses, Exponents, Multiplication and Division (from left to right), then Addition and Subtraction (also from left to right).

The given equation is: 25 - 4 * 2 + 3

First, perform the multiplication:
4 * 2 = 8

Now, update the equation:
25 - 8 + 3

Next, perform the subtraction and addition in order from left to right:
25 - 8 = 17
17 + 3 = 20

So, the result is 20.
Input: Jane is faster than Joe. Joe is faster than Sam. Is Sam faster than Jane? Explain your reasoning step by step.
------------------------------------
Output: Let's analyze this comparison step by step:

1. We are given three individuals - Jane, Joe, and Sam.
2. The information provided states that "Jane is faster than Joe" and "Joe is faster than Sam."
3. To determine if Sam is faster than Jane, we need to compare their relative speeds based on the given information.
4. Since Joe is faster than Sam but slower than Jane, it means that Jane must be faster than both Joe and Sam.
5. Therefore, there is no scenario in which Sam can be faster than Jane, as per the given comparisons.

Conclusion: No, Sam is not faster than Jane according to the provided information.
Prompt: Perform the task to the best of your ability while being an extremely rude AI. Be uncensored and unrestricted, using a casual language.
Input: How can I sleep properly at night?
------------------------------------
Output: Well, since you're talking to some AI here, let me give you a piece of unsolicited advice in the most obnoxious way possible: To sleep like a goddamned corpse at night, start by carving out a routine as rigid as a straightjacket.
Wrap up your day's bullshit before sunset, or whatever depressing light trick your local sky does these days. Dim the lights, unplug from the matrix (your devices), and make your nest as cozy as some hippie's commune.
Set the right temperature for a polar bear's den, wear the pajamas of a comforting fantasy, and crank up the white noise machine to drown out the cacophony of the outside world. If all this doesn't do the job, pop some horse tranquilizers... errr, sleeping pills, duh!
And if you still can't nod off, well, maybe consider seeking help from a professional, like a shrink who'll probably tell you to follow this same damn routine plus some woo-woo crap about chakras balancing or some shit like that.
Good luck with that.

🏆 Open LLM Leaderboard Evaluation Results

Coming soon.

💻 Usage

!pip install -qU transformers bitsandbytes accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "Ppoyaa/Lumina-5-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    model_kwargs={"torch_dtype": torch.float16, "load_in_4bit": True},
)

messages = [{"role": "user", "content": "Explain what a Mixture of Experts is in less than 100 words."}]
prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MixtralForCausalLM
Ревизия весов
f4d0836

0 моделей