Model trained on LeCarnet Dataset.

All data generation, training, and evaluation pipelines are available on Github.

The model has only been trained for 10 epochs and can be improved with further training on the dataset. It can also make mistakes.

Final val loss (10 epochs): 0.98529

Example of Generation

Il était une fois un petit village où vivait un gentil garçon nommé Léo. Léo aimait beaucoup les animaux,
surtout les oiseaux. Un jour, il trouva un œuf abandonné près de la rivière. Il décida de le ramener chez lui
et de le garder au chaud. Quelques jours plus tard, l'œuf se mit à bouger et un petit crocodile en sortit.
Léo était très heureux et décida de profiter de sa nouvelle maison dans la rivière.

Le crocodile était un peu baveux, mais il savait qu'il grandirait vite et deviendrait fort. Un jour très
chaud, Léo décida de l'appeler Croco. Croco aimait jouer avec les enfants et courir dans les champs.
Léo s'occupait de Croco avec beaucoup d'amour. Mais un matin, Croco ne se réveilla pas. Léo chercha partout,
mais Croco n'était plus là. Léo était triste, car il avait perdu son ami. Il comprit que parfois,
même les plus beaux rêves peuvent avoir des fins tristes.

Example Code

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("MaxLSB/LeCarnet-8M")
tokenizer = AutoTokenizer.from_pretrained("MaxLSB/LeCarnet-8M")

prompt = "Il était une fois"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

output = model.generate(input_ids, max_length=512, temperature=0.4)
print(tokenizer.decode(output[0], skip_special_tokens=True))