Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Размер весов: 14,5 ГБ
Лицензия: Apache 2.0
Архитектура: mistral · dense
Библиотека: transformers
Опубликована: 22 мая 2024

Ссылки

speechless-instruct-mistral-7b-v0.2

Генерация текстаТекст → текст9 профессий

Дообученная на инструкциях модель Mistral с 7,1 млрд параметров для генерации текста, рассуждений, планирования и помощи с кодом.

43скачиваний за 30 дней0лайковвеса обновлены26 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

IFEval
IFEval Raw · выше — лучше
Результат
0,3261
Open LLM v2 · архив
Публичная таблицаревизия совпадает
BBH
BBH Raw · выше — лучше
Результат
0,4607
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,0491
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,2902
Open LLM v2 · архив
Публичная таблицаревизия совпадает
GPQA
GPQA Raw · выше — лучше
Результат
0,2819
Open LLM v2 · архив
Публичная таблицаревизия совпадает
MUSR
MUSR Raw · выше — лучше
Результат
0,4902
Open LLM v2 · архив
Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Speechless Instruct Mistral 7B v0.2 — дообученная на инструкционных данных языковая модель на архитектуре Mistral, опубликованная uukuguy. Веса содержат 7,1 млрд параметров; модель принимает текст и имеет контекстное окно до 32 768 токенов. Для инструкций используется формат Alpaca.

Модель предназначена для ответов на инструкции, рассуждений и планирования, а также для задач программирования, включая генерацию и объяснение кода на Python и работу с SQL. В обучающую выборку вошли примеры из Airoboros, OpenOrca, Open-Platypus, WizardLM, Python Eval Instruct и Spider; карточка сообщает о 201 981 примере. Указаны результаты отдельных тестов, но значение HumanEval в карточке отсутствует.

Модель распространяется по лицензии Apache-2.0. Карточка описывает её как средство для улучшения рассуждений и планирования базовой Mistral, однако подробностей об оценке этих возможностей и ограничениях качества не приводит.

Сценарии применения

ответы на текстовые инструкции в формате Alpaca
генерация и объяснение кода на Python
помощь с задачами по SQL
пошаговое решение задач на рассуждение
составление планов по текстовому запросу

Ограничения

Карточка не сообщает значение HumanEval и не приводит подробной оценки качества или ограничений. Для работы с моделью следует использовать формат инструкций Alpaca.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Code: https://github.com/uukuguy/speechless

Use the following dataset to fine-tune mistralai/Mistral-7B-v0.2 in order to improve the model's reasoning and planning abilities.

Total 201,981 samples.

jondurbin/airoboros-2.2: Filter categories related to coding, reasoning and planning. 23,462 samples.
Open-Orca/OpenOrca: Filter the 'cot' category in 1M GPT4 dataset. 74,440 samples.
garage-bAInd/Open-Platypus: 100%, 24,926 samples.
WizardLM/WizardLM_evol_instruct_V2_196k: Coding coversation part. 30,185 samples
TokenBender/python_eval_instruct_51k: “python” in output .40,309 samples
Spider: 8,659 samples

How to Prompt the Model

This model accepts the Alpaca instruction format.

For example:

You are an intelligent programming assistant.

### Instruction:
Implement a linked list in C++

### Response:

HumanEval

Metric	Value
humaneval-python

Big Code Models Leaderboard](https://huggingface.co/spaces/bigcode/bigcode-models-leaderboard)

CodeLlama-34B-Python: 53.29

CodeLlama-34B-Instruct: 50.79

CodeLlama-13B-Instruct: 50.6

CodeLlama-34B: 45.11

CodeLlama-13B-Python: 42.89

CodeLlama-13B: 35.07

Open LLM Leaderboard

Metric	Value
ARC	58.79
HellaSwag	81.89
MMLU	61.27
TruthfulQA	49.85
Winoground	78.22
GSM8K	56.33
Average	64.39

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: 87a4d21