cohere-transcribe-arabic-07-2026-dialectal-v2
Fine-tune of CohereLabs/cohere-transcribe-arabic-07-2026 (2.07B) for multi-dialect Arabic speech recognition (undiacritized output), on the dialect-balanced dataset oddadmix/lahgtna-v3-small (52k train / 2.6k test, clean_text, seed 42).
Open weights. Part of the v2 dialectal-ASR family. The base model is already the #1 model on the Open Universal Arabic ASR Leaderboard, so this is a specialization experiment: it improves the core dialects with the most balanced training data (Gulf, Egyptian, Iraqi, Moroccan, Palestinian, Lebanese) but regresses on others (notably a Tunisian failure mode), landing slightly below the base overall. Use the base if you want the best all-round accuracy; this checkpoint if your traffic is concentrated in the core dialects above.
Results (balanced 13-dialect test, ~2,600 clips, clean_text WER/CER)
Per-dialect — fine-tuned vs. base
| Dialect | Fine-tuned WER | Base WER | Δ |
|---|---|---|---|
Saudi/Gulf (sa) | 0.191 | 0.344 | −0.153 |
Egyptian (eg) | 0.265 | 0.336 | −0.071 |
Iraqi (iq) | 0.320 | 0.559 | −0.239 |
Moroccan (ma) | 0.352 | 0.517 | −0.165 |
Palestinian (ps) | 0.376 | 0.414 | −0.038 |
Lebanese (lb) | 0.501 | 0.518 | −0.017 |
Algerian (dz) | 0.577 | 0.571 | +0.006 |
Bahraini (bh) | 0.502 | 0.447 | +0.055 |
Sudanese (sd) | 0.554 | 0.497 | +0.057 |
Syrian (sy) | 0.563 | 0.430 | +0.133 |
Yemeni (ye) | 0.614 | 0.418 | +0.196 |
Libyan (ly) | 0.756 | 0.476 | +0.280 |
Tunisian (tn) | 1.209 | 0.577 | +0.632 |
| Overall | 0.514 (CER 0.294) | 0.470 (CER 0.179) | +0.044 |
Fine-tuned wins on 6/13 dialects (large gains on Gulf/Iraqi/Moroccan) but a Tunisian hallucination failure (WER > 1) and Libyan/Yemeni/Syrian regressions pull the average above the base.
v2 family — all models on the same balanced test (clean_text, seed 42)
| Model | Params | WER | CER |
|---|---|---|---|
| whisper-large-v3-v2 | 1.54B | 0.320 | 0.120 |
| whisper-large-v3-turbo-v2 | 809M | 0.332 | 0.125 |
| whisper-medium-v2 | 769M | 0.342 | 0.128 |
| whisper-small-v2 | 244M | 0.403 | 0.153 |
| nemotron-3.5-asr-v2 | 638M | 0.423 | 0.148 |
| qwen3-asr-1.7b-v2 | 1.7B | 0.478 | 0.182 |
| cohere-…-dialectal-v2 (this) | 2.07B | 0.514 | 0.294 |
| qwen3-asr-0.6b-v2 | 0.6B | 0.551 | 0.215 |
| base cohere-transcribe-arabic-07-2026 | 2.07B | 0.470 | 0.179 |
Examples — base vs. fine-tuned (one clip per dialect)
13 held-out test clips, one per dialect. Text is clean_text-normalized (undiacritized), matching the WER scoring. Press play to listen.
| Dialect | Audio | Reference | Base | Fine-tuned |
|---|---|---|---|---|
Egyptian (eg) | لا، في كافيه هنا كده جنب الدار، مع أحمد خطيبها، وزمانها جاي. | لا في كافيه هنا كده جنب الدار مع احمد خاطبها وزمنها جاي | لا في كافيه هنا كده جنب الدار مع احمد خطيبها وزمانها جاي. | |
Lebanese (lb) | ما كون مأمنة حالي. ما أقدر اتحكم. امم. في عندي خوف، إيه. | ما أكون مأمنة حالي ما أقدر أتحكم في عندي خوف إي | ما أكون مأمنة حالي، ما أقدر أتحكم. امم. في عندي خوف، إيه. إيه. | |
Syrian (sy) | يعني إنت كان في عندك نظام فاقد الشرعية الدولية، دول ما كانت تعترف فيه. إقامة و دول | يعني أنت كان في عندك نظام فاقد الشرعية الدولية الدول ما كانت تعترف فيه، إقامة... | يعني إنت كان في عندك نظام فاقد الشرعية الدولية، الدول ما كانت تعترف فيه. إيه إقامة ودول. | |
Palestinian (ps) | إ- إزميل أنس واستشهد والده. | الزميل أنس واستشهد والدو | بس الزميل أنس، واستشهد والده. | |
Iraqi (iq) | اشتروا كونتينر او نگدر نگول كرفان حديد، واخذوه بمنطقة بعيدة جدا ودفنوه تحت الأرض. وبعد ما انتهوا من فعلا، | اشتروا كرافان حديد و أخذوه بمنطقة بعيدة جدا و دفنوه تحت الأرض | اشتروا كونتينر أو نگدر نگول كرفان حديد وأخذوه بمنطقة بعيدة جدا ودفنوه تحت الأرض، وبعد ما انتهوا من فعلته. | |
Saudi/Gulf (sa) | ومن نسمع إشارتك، ترانا نازلين مستميتين، ما عندنا شي نخسره. | ومن نسمع اشارتك ترانا نازلين مستميتين ما عندنا شيء نخسره | ومن نسمع إشارتك، ترانا نازلين مستميتين، ما عندنا شيء نخسره. | |
Bahraini (bh) | ولد وكل بنت، لأنه إذا يبون رب العالمين يسر لهم؟ | ولد وكل بنت لأنه إذا يبون رب العالمين ييسر لهم | ولد وكل بنت، لأنه إذا يبون رب العالمين ييسر لهم. | |
Yemeni (ye) | وهذا كان ال ال ال ال يعني تستطيع تعتبرها | وهذا كان تستطيع تعتبرها | وهذا كان ال ال ال ال ال يعني تستطيع تعتبرها. | |
Libyan (ly) | هلبة والله يا بشرى ما ما يحضرنيش حاجة. في بلاد أو برا من البلاد؟ | هلبة والله بشرى ما يحضرنيش حاجة في بلاد أو برم البلاد | هلبة والله يا بشرى ما يحضرنيش معلم. في بلاد أو برم البلاد. في بلاد. في بلاد أو برم البلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. في بلاد. | |
Tunisian (tn) | ال الإحتجاجية ما همش م مستأنسين بالأماكن المقابلة اللي هي صالونات الحكم. | الإحتجاجية ماهومش مستانسين بالأماكن المقابلة اللي هي صالونات الحكم | ال الإحتجاجية ما همش مستانسين بالأماكن المقابلة، اللي هي صالونات الحكم. | |
Algerian (dz) | دو عامين. بصح وكان يبياعني أنا ندي عشر سنين ونشوفو هو يخرج أليز في بلاليبرتي. | عندو عامين بصح وكان يبيعني أنا دي عشر سنين ونشوفو هو يخرج أليز فبلا لي باختي | دو عامين. بصح هو كان يبيعني، أنا ندي عشر سنين ونشوف هو يخرج آيليز بلا ليبرتي. | |
Moroccan (ma) | ضارت، و طردت، و كاع داك الشي اللي فيها من الجن. وسكنت فيها. و الحمد لله من بعد تزوجت بفرح، و أسامة تزوج بكوثر. | و طردو كاع داكشي لي فيها من الجن و سكنت فيها و الحمدلله من بعد تزوجت بفرح و اسامة تزوجت بكوثر | وطردو كاع داكشي اللي فيها من الجن. وسكنت فيها، والحمد لله من بعد تزوجت بفرح، وسامة تزوج بكوثر. | |
Sudanese (sd) | آاا همارات بينزلها في الفيس، أو بعد ال هنا أقوم أحضر الخطبة بتاعة طارق الهادي. يعني | هم مرات بينزلها في الفيس أو بعد هنا يقوم أحضر الخطبة بتاعت طارق الهادي يعني | آآ هم راتب ينزلها في الفيس أو بعد ال هنا يقوم أحضر الخطبة بتاعت طارق الهادي. يعني. |
Usage
import torch
from transformers import AutoProcessor, CohereAsrForConditionalGeneration # transformers 5.14-dev
proc = AutoProcessor.from_pretrained("oddadmix/cohere-transcribe-arabic-07-2026-dialectal-v2")
model = CohereAsrForConditionalGeneration.from_pretrained(
"oddadmix/cohere-transcribe-arabic-07-2026-dialectal-v2", torch_dtype=torch.bfloat16).to("cuda").eval()
# Process ONE bare array at a time — batching+padding degrades this model.
inp = proc(audio_16k_float32, sampling_rate=16000, language="ar", return_tensors="pt").to(model.device)
inp["input_features"] = inp["input_features"].to(model.dtype)
g = model.generate(**inp, max_new_tokens=256)
print(proc.tokenizer.batch_decode(g, skip_special_tokens=True)[0])
Limitations
- Below the base overall (0.514 vs 0.470) — the base is a leaderboard-#1 generalist.
- Tunisian failure mode (WER > 1): avoid for Tunisian; Libyan/Yemeni/Syrian also regress.
- Undiacritized output; evaluated with
clean_text(strip tashkil/tags, keep dialect spelling).