/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
14,5 ГБ
Лицензия
Apache 2.0
Архитектура
mistral · dense
Опубликована
17 апр 2024

Delexa-Instruct-V0.1-7b

Генерация текстаТекст → текст8 профессий

Диалоговая модель Mistral на 7,1 млрд параметров для генерации ответов и выбора лучшего ответа из нескольких вариантов.

39скачиваний за 30 дней3лайкавеса обновлены28 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Delexa-Instruct-V0.1-7b — диалоговая инструкция-модель семейства Mistral, выпущенная командой lex-hue. Она предназначена для генерации ответов и выбора наиболее подходящего варианта из нескольких ответов на вопрос. В README описано обучение на примерах с одним вопросом и тремя вариантами ответа; модель также оценивали на вопросах с выбором ответа и задачах общего рассуждения.

Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Карточка указывает разрешённый взрослый и откровенный контент, но заявляет ограничения на незаконный контент; jailbreak может обходить эти ограничения. Доступна под лицензией Apache-2.0.

Сценарии применения

  • выбор лучшего ответа на вопрос из нескольких вариантов
  • ответы на вопросы в диалоговом формате
  • генерация инструкционных ответов
  • оценка вариантов ответов в тестах с выбором ответа

Ограничения

В README приведены оценки на ограниченном наборе задач, поэтому они не гарантируют качество на других сценариях. Заявленные ограничения на незаконный контент могут обходиться с помощью jailbreak.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Delexa-V0.1-Instruct-7b: Our Newest and Best Model Yet!

We are excited to announce the release of Delexa-V0.1-Instruct-7b, our newest and best model yet! Delexa-V0.1-Instruct-7b has shown excellent performance on a variety of tasks, and we are confident that it will be a valuable asset to the research community.

Eval Results

Delexa-V0.1-Instruct-7b was evaluated on a dataset of question-answer pairs. The model was given a single question and three different answer choices, and it was tasked with selecting the best answer. Delexa-V0.1-Instruct-7b achieved an average score of 8.27 on this task.

Here is a table showing the detailed eval results:

ModelTurn 1Turn 2Average
gpt-48.956259.02508.990625
Delexa-V0.1-Instruct-7b8.575007.95008.268750
claude-v18.150007.65007.900000
gpt-3.5-turbo8.075007.81257.943750
vicuna-13b-v1.36.812505.96256.387500
palm-2-chat-bison-0016.712506.08756.400000

Technique

One of the key factors that contributed to Delexa-V0.1-Instruct-7b's success is the technique of training the model with one question and three different answers. This technique allows the model to take into account different perspectives and viewpoints, which leads to more robust and accurate results.

Future Work

We are excited to continue working on Delexa and to see how it can be further improved. We are currently working on an Instruct model, which is a type of model that can be fine-tuned on specific tasks. We believe that Instruct models have the potential to be even more powerful than Delexa-V0.1-7b, and we are eager to see the results of our ongoing research.

We would like to thank the entire team for their hard work on Delexa-V0.1-Instruct-7b. We are confident that this model will be a valuable asset to the research community.

Guardrails:

This Model allows 18+ content and lewd content, but it wont let any illegal content through (unless you jailbreak it).

Support Our Work and Join our Community!

Our Patreon

Our Twitter

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.69.85
AI2 Reasoning Challenge (25-Shot)66.38
HellaSwag (10-Shot)85.90
MMLU (5-Shot)63.79
TruthfulQA (0-shot)61.73
Winogrande (5-shot)78.37
GSM8k (5-shot)62.93

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
812b372

0 моделей