Характеристики

Контекст: 1 024 токена
Лицензия: MIT
Архитектура: gpt2 · dense
Базовая модель: gpt2
Опубликована: 5 авг 2024

Ссылки

Hugging Face

s1_5epoch

jarod0411

Языковая модель

Дообученная на базе GPT-2 текстовая модель для генерации текста с контекстом до 1024 токенов.

9скачиваний за 30 дней0лайковвеса обновлены5 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

s1_5epoch — дообученная модель на архитектуре GPT-2, созданная на основе openai-community/gpt2. В README указано, что обучение проводилось на наборе данных, обозначенном как None; сведения о его содержании и цели дообучения отсутствуют.

Модель принимает текст и генерирует текст. В README приведены результаты оценки: loss 0,6345 и accuracy 0,7966, однако набор оценки и методика измерений не описаны, поэтому эти показатели не позволяют уверенно судить о качестве для конкретной задачи. Контекст модели составляет 1024 токена.

Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT. Язык и специализированные области применения по имеющимся данным установить нельзя.

Сценарии применения

генерация продолжения текста
создание коротких текстовых фрагментов
эксперименты с дообучением GPT-2

Ограничения

Назначение и состав обучающих данных не описаны, а метрики оценки приведены без методики и контекста. Языковая поддержка не установлена.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

s1_5epoch

This model is a fine-tuned version of gpt2 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.6345
Accuracy: 0.7966

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 24
eval_batch_size: 24
seed: 42
distributed_type: multi-GPU
num_devices: 8
total_train_batch_size: 192
total_eval_batch_size: 192
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5.0

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.7369	1.0	3545	0.6993	0.7806
0.6889	2.0	7090	0.6606	0.7901
0.6694	3.0	10635	0.6445	0.7942
0.66	4.0	14180	0.6373	0.7959
0.6561	5.0	17725	0.6345	0.7966

Framework versions

Transformers 4.36.0.dev0
Pytorch 2.1.1+cu121
Datasets 2.15.0
Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: GPT2LMHeadModel
Ревизия весов: 5966559