🎙️ Whisper Small finetuné pour la reconnaissance vocale en bambara
Ce modèle est une version finetunée de openai/whisper-small sur 24 738 échantillons audio en bambara, à partir du dataset RobotsMali/bam-asr-early. Il permet de transcrire la parole en texte STT en bambara (bm) avec une bonne précision au niveau caractère.
🎯 Performances finales (Évaluation complète)
| Métrique | Valeur | Dataset | Interprétation |
|---|---|---|---|
| WER (Word Error Rate) | 43.70 % | Test set complet (7 069 échantillons) | Précision mot: 56.30% |
| CER (Character Error Rate) | 21.38 % | Test set complet (7 069 échantillons) | Précision caractère: 78.62% |
💡 Le CER < 22 % indique que plus de 78 % des caractères sont corrects, ce qui est très utile pour les analyses qualitatives notamment pour les pratiques du MEAL (entretiens, focus groups, discours) en contexte de recherche sociale ou linguistique.
📈 Évolution de l'entraînement (6 000 steps)
| Step | Training Loss | Validation Loss | WER (%) |
|---|---|---|---|
| 500 | 2.4841 | 2.4260 | 83.32 |
| 1000 | 2.1492 | 2.0208 | 51.35 |
| 1500 | 1.9758 | 1.9546 | 48.55 |
| 2000 | 1.9931 | 1.9335 | 47.65 |
| 2500 | 1.9285 | 1.9039 | 45.65 |
| 3000 | 1.8906 | 1.8774 | 41.56 |
| 3500 | 1.7934 | 1.8734 | 45.35 |
| 4000 | 1.8452 | 1.8560 | 42.96 |
| 4500 | 1.7566 | 1.8556 | 42.56 |
| 5500 | 1.7379 | 1.8667 | 42.76 |
| 6000 | 1.6746 | 1.8656 | 42.66 |
🔍 Le modèle a convergé vers WER ≈ 42-43 %, avec une performance finale validée à 43.70% sur l'ensemble complet du test set.
📊 Dataset : RobotsMali/bam-asr-early
- Source originale : RobotsMali/bam-asr-early
- Prétraitement : nettoyage audio, vérification d'intégrité, segmentation, tokenisation personnalisée. kalilouisangare/bambara-speech-kis-clean-split
- Statistiques clés :
| Métrique | Valeur | Interprétation |
|---|---|---|
| Échantillons valides | 35 342 / 35 413 (99.8%) | ✅ Nettoyage quasi parfait — perte de seulement 71 échantillons (0.2%) |
| Durée moyenne | 3.23 s | ✅ Idéal pour Whisper — pas de segments trop longs |
| Caractères uniques | 45 | ✅ Couvre l'alphabet latin + caractères bambara (ɔ, ɛ, ɲ, ŋ, etc.) |
| Caractères manquants | Aucun | ✅ Tokenizer couvre tout le vocabulaire |
| Split final | Train : 24 738Val : 3 535Test : 7 069 | ✅ Ratio 70/10/20 — excellent équilibre |
Architecture & Taille :
- Modèle de base :
openai/whisper-small - Nombre total de paramètres : 241 735 680 (242M)
- Token spécial ajouté :
<|bm|>(ID = 51865) - Vocabulaire étendu : 51 866 tokens (vs 51 865 d'origine)
- Context window : 128 tokens de génération
⚙️ Entraînement :
- Durée : 6 000 steps (~2 époques) — 2h 26 min 31 sec
- Batch size effective : 8 (
per_device_train_batch_size=4+gradient_accumulation_steps=2) - Optimiseur : AdamW (
optim="adamw_torch") - Precision : FP16
- Learning rate : 1e-5 (cosine decay)
- Matériel : Google Colab T4 GPU
🚀 Utilisation
Transcription avec pipeline :
!pip install -q transformers
from transformers import pipeline, AutoProcessor, AutoModelForSpeechSeq2Seq
# Charger les necessaires
model_id = "kalilouisangare/whisper-small-bambara-v2-kis"
processor = AutoProcessor.from_pretrained("openai/whisper-small")
model = AutoModelForSpeechSeq2Seq.from_pretrained(model_id)
# Le pipeline pour tokenization
asr = pipeline(
"automatic-speech-recognition",
model=model,
tokenizer=processor.tokenizer,
feature_extractor=processor.feature_extractor,
device=0
)
# Transcrire
result = asr("/Chemin_dossier/audio/Test.wav")
print('Votre fichier transcrit' : )
print(result["text"])
Citation :
Si vous utilisez ce modèle, alors vous devriez mentionner ces références :
-
Kalilou I Sangare, #kis
-
Jeli-ASR dataset: Jeli-ASR Dataset.
-
Oza's Bambara-ASR dataset: oza75/bambara-asr.
-
Oza's Bambara-TTS dataset: oza75/bambara-tts.