moore-lm
Un petit modèle de langue de type GPT entraîné from scratch sur du texte en
mooré (langue parlée principalement au Burkina Faso, code ISO mos).
Architecture
| Paramètre | Valeur |
|---|---|
| Couches | 4 |
| Têtes d'attention | 4 |
| Dimension embed. | 768 |
| Longueur contexte | 512 |
| Taille vocab. | 8000 |
| Tokenizer | BPE maison (BPETokenizerSimple) |
Meilleure perte de validation : 2.744815540313721.
Utilisation
Le modèle utilise une architecture et un tokenizer personnalisés. Il faut récupérer le code et les fichiers du dépôt :
from huggingface_hub import snapshot_download
import os, torch
# Télécharge tout le dépôt (code + poids + tokenizer)
path = snapshot_download("ouilyh/moore-lm")
os.chdir(path) # le tokenizer charge vocab.json / vocab.bpe depuis le cwd
from gpt import GPTModel
from tokenizer.bpe_tokenizer_simple import BPETokenizerSimple
from generate_text import generate
from utils import text_to_token_ids, token_ids_to_text
model = GPTModel.from_pretrained("ouilyh/moore-lm")
model.eval()
tokenizer = BPETokenizerSimple()
prompt = "Ne y yibeoogo"
ids = generate(
model=model,
idx=text_to_token_ids(prompt, tokenizer),
max_new_tokens=50,
context_size=512,
temperature=0.7,
top_k=40,
)
print(token_ids_to_text(ids, tokenizer))
Limites
Modèle expérimental de petite taille, entraîné sur un corpus limité. Les générations peuvent être incohérentes et ne doivent pas être utilisées en production.