Экспериментальная дообученная модель Mistral для генерации разговорного текста с меньшими ограничениями на ответы.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Mistral-CatMacaroni-slerp-uncensored-7B — экспериментальная разговорная модель на архитектуре Mistral с 7,1 млрд параметров. По README, её дообучили на наборе toxic-dpo-v0.1-NoWarning-alpaca на базе Mistral-CatMacaroni-slerp-7B. Модель предназначена для генерации текста в диалоге; в метаданных заявлен контекст длиной до 32 768 токенов.
Название и тег uncensored указывают на настройку для ответов с меньшими ограничениями, однако README не приводит подробных оценок поведения или безопасности. Опубликованы результаты на ARC и HellaSwag, но приведённых данных недостаточно для выводов о качестве в других сценариях. Модель распространяется в формате safetensors по лицензии Apache-2.0.
Модель обозначена как экспериментальная, а тег uncensored указывает на возможную генерацию токсичного или нежелательного контента. README не сообщает, на каких языках она проверена.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is an experimental model.
Finetuned on dataset toxic-dpo-v0.1-NoWarning-alpaca using model Mistral-CatMacaroni-slerp-7B
| Metric | Value |
|---|---|
| Avg. | 67.28 |
| ARC (25-shot) | 64.25 |
| HellaSwag (10-shot) | 84.09 |
| MMLU (5-shot) | 62.66 |
| TruthfulQA (0-shot) | 56.87 |
| Winogrande (5-shot) | 79.72 |
| GSM8K (5-shot) | 56.1 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…