/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,1 млрд
Размер весов
14,5 ГБ
Лицензия
Apache 2.0
Архитектура
mistral · dense
Библиотека
transformers
Опубликована
15 мая 2024

mistral-7b-instruct-v0.2

Генерация текстаТекст → текст10 профессий

Инструктивная языковая модель Mistral на 7,1 млрд параметров для генерации текста и ведения диалогов на английском языке.

783скачиваний за 30 дней0лайковвеса обновлены11 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

unsloth/mistral-7b-instruct-v0.2 — разговорная инструктивная модель семейства Mistral, представленная Unsloth. Это плотная причинная языковая модель MistralForCausalLM с 7,1 млрд параметров; она предназначена для генерации текста, диалогов и выполнения инструкций. Метаданные указывают поддержку контекста до 32 768 токенов и английский язык. Модель подходит для чат-ботов и текстовых приложений, которым нужна генерация ответов по запросу.

Карточка Unsloth описывает ноутбуки для дообучения Mistral 7B, в том числе разговорный вариант с шаблонами ShareGPT ChatML и Vicuna; однако она не подтверждает, что именно этот репозиторий содержит результат такого дообучения. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0. Показатели ускорения и экономии памяти в README относятся к процессу дообучения в ноутбуках, а не к скорости или качеству вывода этой модели.

Сценарии применения

  • ответы на инструкции на английском языке
  • создание англоязычного чат-бота
  • генерация продолжений текста
  • подготовка черновиков и кратких текстов
  • диалоговые приложения на базе Mistral

Ограничения

В метаданных указан английский язык; поддержка других языков не подтверждена. README описывает главным образом ноутбуки для дообучения семейства и не приводит оценок качества именно этой модели.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Finetune Mistral, Gemma, Llama 2-5x faster with 70% less memory via Unsloth!

We have a Google Colab Tesla T4 notebook for Mistral 7b here: https://colab.research.google.com/drive/1Dyauq4kTZoLewQ1cApceUQVNcnnNTzg_?usp=sharing

✨ Finetune for Free

All notebooks are beginner friendly! Add your dataset, click "Run All", and you'll get a 2x faster finetuned model which can be exported to GGUF, vLLM or uploaded to Hugging Face.

Unsloth supportsFree NotebooksPerformanceMemory use
Gemma 7b▶️ Start on Colab2.4x faster58% less
Mistral 7b▶️ Start on Colab2.2x faster62% less
Llama-2 7b▶️ Start on Colab2.2x faster43% less
TinyLlama▶️ Start on Colab3.9x faster74% less
CodeLlama 34b A100▶️ Start on Colab1.9x faster27% less
Mistral 7b 1xT4▶️ Start on Kaggle5x faster*62% less
DPO - Zephyr▶️ Start on Colab1.9x faster19% less

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
5d88c8e

0 моделей