Lyse-336M
Modèle de langage causal (decoder-only) entraîné from scratch.
Architecture
- 24 couches, d_model=1024, 16 têtes d'attention, feed-forward=4096
- Contexte : 512 tokens (positions apprises, non extrapolable)
- ~336M de paramètres, embeddings d'entrée/sortie liés
- Tokenizer : camembert-base (SentencePiece Unigram, 32013 tokens + tokens ChatML)
Pré-entraînement
- Corpus : Wikipédia FR + EN (texte complet, non tronqué)
- Mixed precision bf16, gradient checkpointing
Contenu de ce dépôt
base/causal_transformer.pt— checkpoint base, tokenizer inclus (vocab=32005)instruct/causal_transformer_instruct.pt— checkpoint instruct, tokenizer inclus (vocab=32013)
Utilisation
Ce modèle utilise une architecture custom (model.py), pas une classe
transformers standard. Pour le charger :
import torch
from transformers import AutoTokenizer
from model import CausalTransformerModel
from config import Config
cfg = Config()
tokenizer = AutoTokenizer.from_pretrained("./tokenizer")
state_dict = torch.load("causal_transformer.pt", map_location=cfg.device)
cfg.vocab_size = state_dict["token_emb.weight"].shape[0]
model = CausalTransformerModel(cfg)
model.load_state_dict(state_dict, strict=True)