Экспериментальная модель на базе Sheared LLaMA 1.3B для генерации текста и ответов на инструкции в формате Alpaca.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ShearedPlats-1.3b-v1 — экспериментальная дообученная языковая модель от vihangd, основанная на Sheared LLaMA 1.3B и обученная с Alpaca-QLoRA на наборах данных в стиле Alpaca. Это плотная авторегрессионная модель семейства LLaMA с 1,3 млрд параметров; она принимает текст и генерирует текст, используя шаблон запросов Alpaca. В метаданных указан контекст 4096 токенов.
Модель предназначена для генерации ответов и выполнения текстовых инструкций в формате Alpaca. README приводит результаты оценки на ARC и HellaSwag, но не описывает специализацию по предметной области или языковое покрытие. Репозиторий содержит веса PyTorch и использует лицензию Llama 2. Это экспериментальное дообучение, поэтому результаты отдельных оценок не гарантируют качество на пользовательских запросах.
README не сообщает, какие языки поддерживаются; специализированная область применения не заявлена. Модель экспериментальная, а приведённые результаты ограничены отдельными бенчмарками.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 31.63 |
| ARC (25-shot) | 35.41 |
| HellaSwag (10-shot) | 62.75 |
| MMLU (5-shot) | 24.75 |
| TruthfulQA (0-shot) | 33.93 |
| Winogrande (5-shot) | 58.48 |
| GSM8K (5-shot) | 0.53 |
| DROP (3-shot) | 5.55 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…