Дообученная на базе Mistral-7B-Instruct-v0.2 модель для диалоговой генерации текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Wistral-7B-Instruct-v0.3 — языковая модель BarraHome для диалоговой генерации текста. Она основана на Mistral-7B-Instruct-v0.2, дообучена с использованием Unsloth и библиотеки TRL и имеет плотную архитектуру MistralForCausalLM с 7,1 млрд параметров.
Модель предназначена для ответов на сообщения и генерации текста в чате. Её контекст составляет 32 768 токенов. В карточке приведены результаты оценок на AI2 Reasoning Challenge и HellaSwag; они дают ориентир по отдельным тестам, но не гарантируют качество в других задачах. Для работы с моделью нужны совместимые инструменты и аппаратные ресурсы; метаданные указывают формат safetensors.
Модель распространяется по лицензии Apache-2.0. Карточка не описывает специализацию по предметной области или отдельные ограничения применения.
Результаты приведённых тестов не позволяют судить о качестве во всех сценариях. Карточка не описывает специализированные возможности и отдельные ограничения модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This mistral model was trained 2x faster with Unsloth and Huggingface's TRL library.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 65.23 |
| AI2 Reasoning Challenge (25-Shot) | 62.20 |
| HellaSwag (10-Shot) | 84.81 |
| MMLU (5-Shot) | 60.34 |
| TruthfulQA (0-shot) | 67.67 |
| Winogrande (5-shot) | 76.80 |
| GSM8k (5-shot) | 39.58 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…