Дообученная на Open-Platypus модель Llama с 13,4 млрд параметров для генерации текста по инструкциям и ответов на вопросы.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
KnutJaegersberg/CausalLM-Platypus-14B — языковая модель семейства Llama, дообученная в течение трёх эпох на наборе Open-Platypus с применением NEFTune. Модель предназначена для генерации текста по инструкциям и ответов на вопросы; пример карточки использует формат с разделами Instruction и Response.
Модель содержит 13,4 млрд параметров, работает с текстом и поддерживает контекст до 8192 токенов. В карточке приведены результаты оценивания на задачах рассуждения и понимания текста, включая AI2 Reasoning Challenge и HellaSwag. Для использования применяются лицензии Llama 2 и Qwen, указанные в приложенных файлах; условия следует проверять для конкретного сценария распространения и использования.
Карточка не сообщает отдельные ограничения качества или безопасности; лицензии Llama 2 и Qwen могут накладывать условия на использование и распространение.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
CausalLM trained for 3 epochs on playtypus dataset with NEFTune.
Both Llama2 and Qwen licenses apply, find them in the attached files.
Prompt Example:
### Instruction:
What is AGI?
### Response:
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 63.80 |
| AI2 Reasoning Challenge (25-Shot) | 56.91 |
| HellaSwag (10-Shot) | 80.06 |
| MMLU (5-Shot) | 64.98 |
| TruthfulQA (0-shot) | 47.57 |
| Winogrande (5-shot) | 76.01 |
| GSM8k (5-shot) | 57.24 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…