Дообученная Llama-2-7B для генерации текста и улучшения результатов на тестах MMLU.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
itsliupeng/llama2_7b_mmlu — дообученная на наборе данных mmlu_recall модель Llama-2-7b-hf, созданная для улучшения результатов на тестах MMLU. Это плотная авторегрессионная языковая модель с 6,6 млрд параметров и контекстом до 4096 токенов.
Модель принимает текст и генерирует текст; карточка приводит результаты оценки на бенчмарках, включая ARC и HellaSwag. Она рассчитана на англоязычные задачи и может быть полезна для экспериментов с ответами на вопросы и оценкой знаний по предметным тестам. Лицензия — Apache-2.0.
Заявленная цель дообучения — повысить качество на метриках MMLU, сохранив результаты на других метриках. Приведённые результаты бенчмарков сами по себе не подтверждают сохранение качества на всех остальных задачах.
Карточка описывает цель улучшения на MMLU, но не подтверждает, что качество на остальных задачах действительно сохраняется. Результаты бенчмарков не гарантируют качество в прикладных сценариях.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
We are utilizing the mmlu_recall dataset to continuously train the Llama-2-7b-hf model, aiming to enhance performance on mmlu metrics, while ensuring that other metric performances remain unaffected.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 46.31 |
| ARC (25-shot) | 56.14 |
| HellaSwag (10-shot) | 79.13 |
| MMLU (5-shot) | 60.04 |
| TruthfulQA (0-shot) | 40.95 |
| Winogrande (5-shot) | 74.43 |
| GSM8K (5-shot) | 7.88 |
| DROP (3-shot) | 5.59 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…