Model trained on LeCarnet Dataset.
All data generation, training, and evaluation pipelines are available on Github.
The model has only been trained for 5 epochs and can be improved with further training on the dataset. It can also make mistakes.
Final val loss (5 epochs): 1.32557
Example of Generation
Il était une fois un petit lapin nommé Lulu. Lulu aimait beaucoup jouer dans la forêt.
Un jour, il trouva un vieux chapeau chiffonné près d'un arbre.
"Oh, quel beau chapeau !" s'exclama Lulu. "Je vais le porter et le rendre encore plus beau."
Lulu courut chez lui pour montrer son nouveau chapeau à ses amis.
Mais en chemin, il rencontra un renard. Le renard voulait le chapeau pour lui.
"Donne-moi ce chapeau, Lulu !" dit le renard. Lulu répondit : "Non, je l'ai trouvé en premier !"
Le renard dit : "Non !" et Mimi, en colère, décidèrent de se cacher dans un buisson.
Finalement, le renard abandonna et partit. Lulu et ses amis étaient très contents.
Ils partagèrent le chapeau et passèrent une belle journée ensemble.
Lulu était heureux d'avoir trouvé une solution et d'être plus courageux.
Example Code
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("MaxLSB/LeCarnet-3M")
tokenizer = AutoTokenizer.from_pretrained("MaxLSB/LeCarnet-3M")
prompt = "Il était une fois"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
output = model.generate(input_ids, max_length=512, temperature=0.4)
print(tokenizer.decode(output[0], skip_special_tokens=True))