Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Размер весов: 14,5 ГБ
Лицензия: Apache 2.0
Архитектура: mistral · dense
Библиотека: transformers
Опубликована: 22 мая 2024

Ссылки

mistral-7b-instruct-v0.3

Генерация текстаТекст → текст15 профессий

Mistral 7B Instruct от Unsloth — текстовая модель для диалогов, выполнения инструкций и генерации текста с контекстом до 32 768 токенов.

6 511скачиваний за 30 дней13лайковвеса обновлены11 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

unsloth/mistral-7b-instruct-v0.3 — версия Mistral 7B Instruct, опубликованная Unsloth. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров для генерации текста и диалогов по инструкциям; в метаданных указаны библиотека Transformers и контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поддерживает английский язык и интерфейс вызова инструментов.

Модель подходит для диалоговых помощников и генерации ответов по запросу. README описывает её как основу для дообучения в разговорном формате ShareGPT/ChatML или Vicuna, а также для задач продолжения текста и DPO. Репозиторий содержит веса Safetensors; указана лицензия Apache 2.0.

Это instruct-модель общего назначения, поэтому её ответы могут содержать ошибки и требуют проверки в критичных сценариях. README посвящён примерам и инструментам дообучения Unsloth и не приводит оценки качества самой модели.

Сценарии применения

создание диалогового помощника
генерация ответов на инструкции
продолжение и дописывание текста
подготовка основы для дообучения на диалогах ShareGPT
генерация текста с интерфейсом вызова инструментов

Ограничения

Карточка не содержит оценок качества; ответы модели могут быть ошибочными и нуждаются в проверке. В метаданных указан английский язык, поэтому поддержку других языков считать подтверждённой нельзя.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Finetune Mistral, Gemma, Llama 2-5x faster with 70% less memory via Unsloth!

We have a Google Colab Tesla T4 notebook for Mistral v3 7b here: https://colab.research.google.com/drive/1_yNCks4BTD5zOnjozppphh5GzMFaMKq_?usp=sharing

For conversational ShareGPT style and using Mistral v3 Instruct: https://colab.research.google.com/drive/15F1xyn8497_dUbxZP4zWmPZ3PJx1Oymv?usp=sharing

✨ Finetune for Free

All notebooks are beginner friendly! Add your dataset, click "Run All", and you'll get a 2x faster finetuned model which can be exported to GGUF, vLLM or uploaded to Hugging Face.

Unsloth supports	Free Notebooks	Performance	Memory use
Gemma 7b	▶️ Start on Colab	2.4x faster	58% less
Mistral 7b	▶️ Start on Colab	2.2x faster	62% less
Llama-2 7b	▶️ Start on Colab	2.2x faster	43% less
TinyLlama	▶️ Start on Colab	3.9x faster	74% less
CodeLlama 34b A100	▶️ Start on Colab	1.9x faster	27% less
Mistral 7b 1xT4	▶️ Start on Kaggle	5x faster*	62% less
DPO - Zephyr	▶️ Start on Colab	1.9x faster	19% less

This conversational notebook is useful for ShareGPT ChatML / Vicuna templates.
This text completion notebook is for raw text. This DPO notebook replicates Zephyr.
* Kaggle has 2x T4s, but we use 1. Due to overhead, 1x T4 is 5x faster.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: 60b99dc