Экспериментальная текстовая модель Mistral с 7,1 млрд параметров для изучения метода DARE на дообученных языковых моделях.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
uukuguy/mistral-7b-platypus-fp16-dare-0.9 — экспериментальная производная модель на архитектуре Mistral, представленная как эксперимент с методом DARE (Drop and REscale). Метод обнуляет часть параметрических изменений дообучения; в карточке приведены результаты на наборе бенчмарков для варианта Platypus на 7 млрд параметров. Репозиторий содержит модель в формате PyTorch с 7,1 млрд параметров и контекстом до 32 768 токенов.
Модель предназначена для генерации текста и исследовательской оценки влияния DARE на возможности дообученных языковых моделей. В README приведены метрики ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K и DROP для базового варианта Platypus; отдельные результаты именно этой версии DARE не указаны. Лицензия в метаданных обозначена как llama2.
В README нет отдельных оценок этой версии DARE, а приведённые метрики относятся к исходному варианту Platypus. Карточка не описывает проверку качества ответов или ограничения применения модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Experiment for DARE(Drop and REscale), most of the delta parameters can be directly set to zeros without affecting the capabilities of SFT LMs and larger models can tolerate a higher proportion of discarded parameters.
| Model | Average | ARC | HellaSwag | MMLU | TruthfulQA | Winogrande | GSM8K | DROP |
|---|---|---|---|---|---|---|---|---|
| bhenrym14/mistral-7b-platypus-fp16 | 56.89 | 63.05 | 84.15 | 64.11 | 45.07 | 78.53 | 17.36 | 45.92 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…