GPT-Neo za Generiranje Fiktivnih Priča/ GPT-Neo for Fiction Story Generation
Ovaj model je fino podešena verzija EleutherAI-jevog GPT-Neo-125M modela, optimiziran za generiranje fikcijskih priča. Obučen je na skupu podataka dostupnom na https://github.com/facebookresearch/fairseq/tree/main/examples/stories.
Opis modela
- Naziv Modela: GPT-Neo-Fiction
- Student: Tin Kanjovsky/Tincando
- Mentor: izv.prof.dr.sc. Darko Etinger
- Verzija Modela: 1.0
Upotrebe i ograničenja
Model je dizajniran za generiranje kreativnih fiktivnih priča. Može se koristiti u razne svrhe, uključujući, ali ne ograničavajući se na:
- Pripovijedanje: Generiranje zanimljivih i maštovitih fiktivnih priča.
- Generiranje Sadržaja: Stvaranje sadržaja za blogove, web stranice ili druge medije s elementom pripovijedanja.
- Kreativno Pisanje: Pomoć autorima i piscima pri razmišljanju o idejama i razvijanju narativa.
Performanse Modela
- Podaci za Obuku: Model je obučen na raznolikom skupu podataka fiktivnih priča i prompteva.
- Metrike Evaluacije: Performanse metrika, kao što su perpleksnost ili BLEU skorovi, mogu varirati ovisno o konkretnom zadatku i skupu podataka.
Ograničenja
- Kvaliteta Sadržaja: Iako model može generirati kreativne priče, kvaliteta i koherentnost izlaza mogu varirati, a povremeno može proizvesti besmislene ili neprimjerene sadržaje.
- Pristranost: Model može pokazivati pristranosti prisutne u skupu podataka za obuku, stoga je važno biti oprezan prilikom korištenja za osjetljive teme ili sadržaje.
- Duljina Izlaza: Model može generirati tekst različite duljine i ne uvijek će proizvesti željenu duljinu izlaza.
- Podaci za Fino Podešavanje: Kvaliteta generiranih priča ovisi o kvaliteti i raznolikosti skupa podataka za fino podešavanje.
Upotreba
from transformers import GPTNeoForCausalLM, GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained(Tincando/fiction_story_generator)
model = GPTNeoForCausalLM.from_pretrained(Tincando/fiction_story_generator)
# Generate a fiction story
input_prompt = "[WP] I can't believe I died the same way twice."
input_ids = tokenizer(input_prompt, add_special_tokens=False, return_tensors="pt").input_ids
output = model.generate(input_ids,
max_length=300,
temperature=0.9,
top_k=2,
top_p=0.9,
repetition_penalty=1.2,
do_sample=True,
num_return_sequences=2
)
generated_story = tokenizer.batch_decode(output,clean_up_tokenization_spaces=True)[0]
print(generated_story)
Etika
Prilikom korištenja ovog modela, razmotrite sljedeće etičke smjernice:
- Moderacija Sadržaja: Implementirajte moderaciju sadržaja kako biste osigurali da generirane priče ne krše smjernice ili standarde zajednice.
- Pristranost i Pravednost: Budite svjesni potencijalnih pristranosti u izlazu modela i poduzmite korake za njihovo ublažavanje.
- Privatnost: Izbjegavajte upotrebu osobnih ili osjetljivih informacija kao ulaznih poticaja.
- Pravna Usklađenost: Pazite da generirani sadržaj bude u skladu s autorskim pravima i zakonima o intelektualnom vlasništvu.
Citiranje
Ako koristite GPT-Neo-Fiction u svojem radu, molimo razmislite o citiranju originalnog GPT-Neo modela i skupa podataka koji su korišteni za fino podešavanje:
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 5
Training results
| Training Loss | Epoch | Step | Validation Loss |
|---|---|---|---|
| 3.0842 | 1.0 | 34075 | 3.1408 |
| 3.0026 | 2.0 | 68150 | 3.1275 |
| 2.9344 | 3.0 | 102225 | 3.1270 |
| 2.8932 | 4.0 | 136300 | 3.1306 |
| 2.8517 | 5.0 | 170375 | 3.1357 |
Framework versions
- Transformers 4.28.0
- Pytorch 1.12.1+cu116
- Datasets 2.4.0
- Tokenizers 0.12.1