whisper-small-arabic-dialectal-v2
v2 — openai/whisper-small (244M) fine-tuned for
multi-dialect Arabic on the dialect-balanced dataset
oddadmix/lahgtna-v3-small (52k train / 2.6k test, seed 42,
undiacritized output).
Open weights. This is v2, trained on the balanced, leakage-reduced data. v1 (trained on the earlier augmentation-expanded set, with the full cross-model comparison + bundled fine-tuning scripts) is at
oddadmix/whisper-small-arabic-dialectal.
Results (balanced test split ~2,600 clips, clean_text WER/CER)
| WER | CER | |
|---|---|---|
| This model (v2) | 0.4034 | 0.1528 |
Per-dialect accuracy (v3 balanced test, clean_text)
WER / CER on each dialect's 200 held-out clips, easiest to hardest. Gulf/Levantine transcribe best; Maghrebi (Tunisian/Algerian/Moroccan) is hardest — consistent across every model.
| Dialect | WER | CER | n |
|---|---|---|---|
Saudi/Gulf (sa) | 0.227 | 0.064 | 200 |
Iraqi (iq) | 0.311 | 0.091 | 200 |
Egyptian (eg) | 0.340 | 0.159 | 200 |
Syrian (sy) | 0.356 | 0.130 | 200 |
Bahraini (bh) | 0.397 | 0.152 | 200 |
Yemeni (ye) | 0.410 | 0.152 | 200 |
Palestinian (ps) | 0.411 | 0.173 | 200 |
Lebanese (lb) | 0.416 | 0.156 | 200 |
Libyan (ly) | 0.416 | 0.162 | 200 |
Moroccan (ma) | 0.431 | 0.139 | 200 |
Sudanese (sd) | 0.462 | 0.186 | 200 |
Algerian (dz) | 0.486 | 0.187 | 200 |
Tunisian (tn) | 0.606 | 0.253 | 200 |
| Overall | 0.403 | 0.153 | 2600 |
v2 comparison — all models on the balanced dataset
Same dialect-balanced test split (~2,600 clips, oddadmix/lahgtna-v3-small), same clean_text scoring, seed 42.
| Model | Params | WER | CER |
|---|---|---|---|
| whisper-large-v3-v2 | 1.54B | 0.320 | 0.120 |
| whisper-large-v3-turbo-v2 | 809M | 0.332 | 0.125 |
| whisper-medium-v2 | 769M | 0.342 | 0.128 |
| whisper-small-v2 | 244M | 0.403 | 0.153 |
| nemotron-3.5-asr-v2 (streaming) | 638M | 0.423 | 0.148 |
| qwen3-asr-1.7b-v2 | 1.7B | 0.478 | 0.182 |
| cohere-transcribe-arabic-07-2026-dialectal-v2 | 2.07B | 0.514 | 0.294 |
| qwen3-asr-0.6b-v2 | 0.6B | 0.551 | 0.215 |
whisper-large-v3-turbo-v2 is the best; Whisper fine-tunes furthest. nemotron is the streaming option. (v1 models were trained on the earlier augmentation-expanded set.)
Examples — base vs. fine-tuned (one clip per dialect)
13 held-out test clips, one per dialect. Base is openai/whisper-small untouched; fine-tuned (v2) is this model. Text is clean_text-normalized (undiacritized), matching the WER scoring. Press play to listen.
| Dialect | Audio | Reference | Base | Fine-tuned |
|---|---|---|---|---|
Egyptian (eg) | لا، في كافيه هنا كده جنب الدار، مع أحمد خطيبها، وزمانها جاي. | لا فك فيه هنا كده جنب الدور مع أحمد خطبها وزمنها دي | لا في كفيه هنا كده جنب الدار، مع احمد خطبها وزمنها جاي. | |
Lebanese (lb) | ما كون مأمنة حالي. ما أقدر اتحكم. امم. في عندي خوف، إيه. | ما كون مأمنة حالة ما عدر اتحكم فيه عنده خوفة | ما أكون مأمنة حالي، ما أقدر أتحكم. إم. في عندي خوف إيه. | |
Syrian (sy) | يعني إنت كان في عندك نظام فاقد الشرعية الدولية، دول ما كانت تعترف فيه. إقامة و دول | انت كان في عندك نظام فاقد الشرعي الدولي الدول ما كانت تعترف في اقامة ودول | يعني إنتي كان في عندك نظام فاقد الشرعية، دولية، دول ما كانت تعترف فيه. إيه، إقامة ودول | |
Palestinian (ps) | إ- إزميل أنس واستشهد والده. | وستشدوا التو. | إيه، زميل أنس، واستشهد والده. | |
Iraqi (iq) | اشتروا كونتينر او نگدر نگول كرفان حديد، واخذوه بمنطقة بعيدة جدا ودفنوه تحت الأرض. وبعد ما انتهوا من فعلا، | و بعد ما انتهى من فعلاته | إشتروا كونتينر، أو نگدر نگول كرفان حديد، وأخذوه بمنطقة بعيدة جدا ودفنوه تحت الأرض، وبعد ما انتهوا من فعلته. | |
Saudi/Gulf (sa) | ومن نسمع إشارتك، ترانا نازلين مستميتين، ما عندنا شي نخسره. | ومن نسمع إشارتك تران نازلين المستميتين مع عندنا شينا خسرة | ومن نسمع إشارتك، ترانا نازلين مستميتين، ما عندنا شيء نخسرة. | |
Bahraini (bh) | ولد وكل بنت، لأنه إذا يبون رب العالمين يسر لهم؟ | ولد وكل بنت لأنه إذا يبون رب العالمين يسر له | ولد وكل بنت، لأنه إذا يبون رب العالمين يسر لها، | |
Yemeni (ye) | وهذا كان ال ال ال ال يعني تستطيع تعتبرها | وهذا كان سطعته أعتبره | وهذا كان ال ال ال ال يعني استطعت أعتبرها | |
Libyan (ly) | هلبة والله يا بشرى ما ما يحضرنيش حاجة. في بلاد أو برا من البلاد؟ | هل بو الله يبشره ما يحضرني شو حالة؟ | شنبهال؟ هلبة والله بشرى ما ما يحضرنيش حالها. في البلاد أو بره من البلاد. | |
Tunisian (tn) | ال الإحتجاجية ما همش م مستأنسين بالأماكن المقابلة اللي هي صالونات الحكم. | ونحن نتنسينا بالأميكن المقابل | ال الاحتيجاجية ما همش مستنسين بالأماكن المقابل اللي هي صلونات الحكم. | |
Algerian (dz) | دو عامين. بصح وكان يبياعني أنا ندي عشر سنين ونشوفو هو يخرج أليز في بلاليبرتي. | وكاني بياني ونرى عشرة سنة ونرى ويخرج أهلز في بلالي باختي | دعا عامين. بصح هو كان يبيعني، أنا ندي عشر سنين ونشوفو هو يخرج آلز في بلا ليبرتي. | |
Moroccan (ma) | ضارت، و طردت، و كاع داك الشي اللي فيها من الجن. وسكنت فيها. و الحمد لله من بعد تزوجت بفرح، و أسامة تزوج بكوثر. | وطارتوك قاعدكشي اللي فيه من الجين وسكنتش فيها و الحمدولله من بعد زوج في فاراح و سامة زوج بكوسر | وطرط وكاع ديكشي اللي فيها من الجن. وسكنت فيها، والحمد لله من بعد تزوجت بفراح وسامة تزوج بكوتر. | |
Sudanese (sd) | آاا همارات بينزلها في الفيس، أو بعد ال هنا أقوم أحضر الخطبة بتاعة طارق الهادي. يعني | هم أراد بي نزيله في الفيس أو بعد الهنا جم أحضر الخطب بتاع طارق الهاني | آآ هم راد بي نزيلوا في الفيس، أو بعد ال هنا لقوموا أحضر الخطبة بتاعة الطارق الهادي. يعني |
Full fine-tuning code, dependencies, and lessons are in the
v1 repo (train.py, normalize.py,
FINETUNE.md). This v2 uses the same recipe on the balanced dataset.