Model trained on LeCarnet Dataset.
All data generation, training, and evaluation pipelines are available on Github.
The model has only been trained for 10 epochs and can be improved with further training on the dataset. It can also make mistakes.
Final val loss (10 epochs): 0.8022
Example of Generation
Il était une fois un petit garçon nommé Léo. Léo adorait jouer avec ses jouets,
surtout avec sa petite moto rouge. Un jour, alors qu'il jouait dans le jardin,
il remarqua quelque chose d'étrange. La moto de son papa semblait bouger toute seule !
Léo était très surpris et un peu apeuré. Il ne savait pas quoi faire.
Léo décida de toucher la moto pour voir si elle bougeait encore.
À sa grande surprise, la moto commença à parler ! Elle dit : « Bonjour Léo,
je suis une moto magique. Je peux t'emmener dans des aventures incroyables ! »
Léo n'en croyait pas ses yeux. Il monta sur la moto et ensemble,
ils partirent à l'aventure dans un monde magique où il rencontra des animaux
parlants et découvrant des trésors cachés. Léo était tellement heureux qu'il
oublia sa peur et passa une journée inoubliable avec sa nouvelle amie magique.
Example Code
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("MaxLSB/LeCarnet-21M")
tokenizer = AutoTokenizer.from_pretrained("MaxLSB/LeCarnet-21M")
prompt = "Il était une fois"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
output = model.generate(input_ids, max_length=512, temperature=0.4)
print(tokenizer.decode(output[0], skip_special_tokens=True))