ilovebots/bert-sdg-french
Ce modèle permet de classer les textes en fonction des objectifs de développement durable (ODD) des Nations Unies.
Détails du modèle
Description du modèle
Ce modèle de classification de texte a été développé en fine-tuning le modèle pré-entraîné dbmdz/bert-base-french-europeana-cased. Les données d'entraînement de ce modèle affiné proviennent de l'ensemble de données communautaires OSDG (OSDG-CD) accessible au public à l'adresse https://zenodo.org/record/5550238#.ZBulfcJByF4. Ce modèle a été réalisé dans le cadre d'une recherche universitaire à l'Université Laval. L'objectif était de créer un modèle de classification de texte SDG basé sur transformers en français. Les principaux détails du modèle sont mis en évidence ci-dessous :
- Model type: Text classification
- Language(s) (NLP): French
- License: mit
- Finetuned from model : dbmdz/bert-base-french-europeana-cased
Model Sources
- Repository: https://huggingface.co/ilovebots/bert-sdg-french
How to Get Started with the Model
Utilisez le code ci-dessous pour commencer à utiliser le modèle.
from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("ilovebots/bert-sdg-french")
model = AutoModelForSequenceClassification.from_pretrained("ilovebots/bert-sdg-french")
Training Data
La base disponible dans https://zenodo.org/record/5550238#.ZBulfcJByF4 a été enrichie des objectifs de développement durable des Nations Unies et traduite en en français.
Training Hyperparameters
- Num_epoch = 4
- Learning rate = 2e-5
- Epsilon = 1e-8
- Optimizer = AdamW
- Batch size = 32
- Seed random = 42
Evaluation
Metrics
- Accuracy = 0.84
Citation
Martinez, D.F. (2023). SDG classification with BERT. https://huggingface.co/ilovebots/bert-sdg-french