Характеристики

Контекст: 512 токенов
Архитектура: encoder-decoder · dense
Опубликована: 30 мар 2024

Ссылки

Hugging Face

RoBERTa-GPT2_EmpAI

LuangMV97

Языковая модель3 профессии

Дообученная encoder-decoder модель RoBERTa–GPT-2 для генерации текста по текстовому вводу.

7скачиваний за 30 дней0лайковвеса обновлены31 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LuangMV97/RoBERTa-GPT2_EmpAI — дообученная модель encoder-decoder на основе архитектуры RoBERTa–GPT-2. В карточке указано значение loss 0,9871 на оценочном наборе, но сведения о базовой модели и наборе данных отсутствуют.

Карточка не описывает предполагаемые сценарии применения, поддерживаемые языки или ограничения. Метаданные указывают тег text2text-generation и формат весов safetensors; модель может использоваться для генерации текста по текстовому вводу. Лицензия не указана в предоставленных данных.

Сценарии применения

генерация текста по текстовому запросу
продолжение или преобразование текста в формате text-to-text
экспериментальная оценка качества генерации текста

Ограничения

Не раскрыты базовая модель, обучающие данные, поддерживаемые языки и целевые сценарии; приведён только loss 0,9871 без описания методики оценки. Лицензия и ограничения использования не указаны в предоставленных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RoBERTa-GPT2_EmpAI_FineTuned

This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.9871

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 8
total_train_batch_size: 64
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: cosine
lr_scheduler_warmup_steps: 1000
num_epochs: 10
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
4.3753	1.0	3867	4.3100
2.873	2.0	7734	2.8619
2.0204	3.0	11601	2.0694
1.6845	4.0	15468	1.7321
1.5994	5.0	19335	1.6773
1.3579	6.0	23202	1.3416
1.0921	7.0	27069	1.1302
0.975	8.0	30936	1.0375
0.9599	9.0	34803	0.9928
0.9228	10.0	38670	0.9871

Framework versions

Transformers 4.38.2
Pytorch 2.2.1+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: EncoderDecoderModel
Ревизия весов: ec7e8d3