/ Модель

Характеристики

Контекст
2 048 токенов
Лицензия
CC BY-NC 4.0
Архитектура
gpt2 · dense
Опубликована
29 мар 2023

590m

Генерация текстаТекст → текст3 профессии

Англоязычная GPT-2-модель на 590 млн параметров, дообученная для диалога и выполнения текстовых инструкций.

105скачиваний за 30 дней0лайковвеса обновлены18 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Corianas/590m — англоязычная GPT-2-модель на 590 млн параметров, дообученная Corianas на базе Cerebras 590M с использованием фреймворка Databricks Dolly и набора инструкций tatsu-lab/alpaca. Она предназначена для диалога и генерации текста по инструкциям: например, для черновиков писем, коротких текстов и ответов на вопросы. Контекст модели составляет 2048 токенов.

В примерах карточки ответы часто содержат фактические ошибки и бессвязные детали; автор отдельно предупреждает, что знания модели о фактах почти отсутствуют. Поэтому её следует использовать для экспериментов с генерацией и инструктивным диалогом, а не полагаться на неё для достоверных сведений. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но запрещающая коммерческое применение.

Сценарии применения

  • черновики коротких писем по заданной теме
  • создание коротких рекламных объявлений
  • генерация публикаций для социальных сетей
  • эксперименты с англоязычным чат-ботом по инструкциям

Ограничения

Автор сообщает, что фактические знания модели почти отсутствуют; примеры также показывают фактические ошибки и несвязные ответы. Контекст ограничен 2048 токенами, а лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

This is a finetuned model of Cerebras 590M model using DataBricksLabs Dolly Framework

Model Details

Model Description

  • Developed by: Finetuned by Corianas (me) using open source tools
  • Shared by [optional]: [More Information Needed]
  • Model type: [More Information Needed]
  • Language(s) (NLP): EN
  • License: cc-by-nc-4.0
  • Finetuned from model [optional]: https://huggingface.co/cerebras/Cerebras-GPT-590M

Uses

This is a simple GPT chatbot that has been finetuned to understand instructions. Its knowledge about facts about the world is should be considered almost non-existant.

Direct Use

[More Information Needed]

Downstream Use [optional]

[More Information Needed]

Out-of-Scope Use

[More Information Needed]

Bias, Risks, and Limitations

[More Information Needed]

Recommendations

Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.

How to Get Started with the Model

Use the code below to get started with the model.

[More Information Needed]

Training Details

Training Data

[More Information Needed]

Training Procedure

Preprocessing [optional]

[More Information Needed]

Training Hyperparameters

  • Training regime: [More Information Needed]

Speeds, Sizes, Times [optional]

[More Information Needed]

Evaluation

Testing Data, Factors & Metrics

Testing Data

[More Information Needed]

Factors

[More Information Needed]

Metrics

[More Information Needed]

Results

Instruction: Write a love letter to Edgar Allan Poe.

Dear Edgar,

I hope you are doing well. As a person of your age and background, you are always learning new things and never too sure of your own best skills. May your future brighten up your days with the learning you have to offer. I can't wait to read your book and see the way it influenced you.

Thanks for the inspiration. It is so much fun to explore your special talents.

Sincerely,


Instruction: Write a tweet announcing Dolly, a large language model from Databricks.

Dolly is the world's first massive language model, available now in India. #IndiaDolly #Databricks


Instruction: I'm selling my Nikon D-750, write a short blurb for my ad.

I'm selling my Nikon D-750, someone whose dedication to imaging means he/she is always ready to answer questions, be creative and take chances on what really matters. A custom-designed top hat, a wide-angle lens, and an affordable ultrabuck remote offer the ultimate in quality. He/She can even go as far as to order a custom-made outdoor halogen pass. And if he/She is more than willing to take on any challenge, there is no doubt that with a creative lens, personal shots, and a custom top hat, photography is at its peak. As a satisfied customer, I would


Instruction: Explain to me the difference between nuclear fission and fusion.

Nuclear fission is a process that occurs during the production of nuclear fuel, while fusion is a process that occurs in the fusion industry. Nuclear fission is used to create the active ingredient in nuclear fuel, such as fission products, fusion plutonium, and decontamination services. Fusion requires a lower pressure in the fusion process and is more flexible compared to nuclear fission. Nuclear fission fuses with fission products, fission plutonium, and decontamination services.


Instruction: Give me a list of 5 science fiction books I should read next.

  1. How to Translate a Face into a System
  2. How to Fly a Surrealist
  3. How to Survive an Army Wildlife Hunt
  4. How to Strike an iPhone
  5. How to Teach a Hackathon

Summary

Model Examination [optional]

[More Information Needed]

Environmental Impact

Carbon emissions can be estimated using the Machine Learning Impact calculator presented in Lacoste et al. (2019).

  • Hardware Type: [More Information Needed]
  • Hours used: [More Information Needed]
  • Cloud Provider: [More Information Needed]
  • Compute Region: [More Information Needed]
  • Carbon Emitted: [More Information Needed]

Technical Specifications [optional]

Model Architecture and Objective

[More Information Needed]

Compute Infrastructure

[More Information Needed]

Hardware

[More Information Needed]

Software

[More Information Needed]

Citation [optional]

BibTeX:

[More Information Needed]

APA:

[More Information Needed]

Glossary [optional]

[More Information Needed]

More Information [optional]

[More Information Needed]

Model Card Authors [optional]

[More Information Needed]

Model Card Contact

[More Information Needed]

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.25.62
ARC (25-shot)24.15
HellaSwag (10-shot)31.91
MMLU (5-shot)26.61
TruthfulQA (0-shot)42.19
Winogrande (5-shot)48.38
GSM8K (5-shot)0.08
DROP (3-shot)6.03

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
GPT2LMHeadModel
Ревизия весов
b40088f

0 моделей