Небольшая англоязычная GPT-Neo-модель, дообученная на инструкционных данных для генерации текста и коротких историй.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
blueapple8259/TinyStories-Alpaca — языковая модель, созданная дообучением roneneldan/TinyStories-33M на наборе vicgalle/alpaca-gpt4. Она генерирует текст по запросу и рассчитана на простые инструкции и короткие продолжения историй; README приводит шаблон запроса в форме вопроса ученика и ответа учителя. Модель имеет архитектуру GPT-Neo, около 71,6 млн параметров и контекст длиной 2048 токенов. Метаданные указывают английский язык и форматы PyTorch и Safetensors.
Модель может подойти для экспериментов с небольшими генеративными моделями и простыми англоязычными запросами. README приводит результаты оценивания на ARC и HellaSwag. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
Компактный размер модели ограничивает её возможности для сложных запросов; README не приводит подробных оценок качества следования инструкциям. Лицензия запрещает коммерческое использование.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a roneneldan/TinyStories-33M model fine-tuned with the vicgalle/alpaca-gp4 dataset.
prompt:
Lily asked the teacher a question. "{prompt}" The teacher smiled and said, "
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 24.51 |
| ARC (25-shot) | 23.98 |
| HellaSwag (10-shot) | 24.92 |
| MMLU (5-shot) | 23.35 |
| TruthfulQA (0-shot) | 46.68 |
| Winogrande (5-shot) | 51.85 |
| GSM8K (5-shot) | 0.0 |
| DROP (3-shot) | 0.81 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…