/ Модель

Характеристики

Контекст
512 токенов
Параметры
12,4 млн
Архитектура
bert · dense
Базовая модель
bert-mini-arabic
Библиотека
transformers
Опубликована
30 мар 2026

dialect-router-v0.2

Классификация текстаТекст → label4 профессии

Компактная BERT-модель определяет арабский диалект или английский язык, чтобы направлять текст к подходящему голосу и языковому токену синтеза речи.

217скачиваний за 30 дней2лайкавеса обновлены31 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

oddadmix/dialect-router-v0.2 — компактная модель классификации арабских диалектов, разработанная для маршрутизации запросов в конвейере Lahgtna. Это дообученная версия asafaya/bert-mini-arabic: энкодер BERT-mini с классификационной головой, около 12,4 млн параметров и контекстом до 512 токенов. Модель относит текст к одному из 15 классов: 13 арабским диалектам, современному литературному арабскому и английскому.

Основной сценарий — определить диалект арабской реплики, чтобы выбрать голосовой образец и языковой токен для синтеза речи Chatterbox. Модель также подходит для определения диалектов в NLP-конвейерах, анализа датасетов и фильтрации контента. В README указаны accuracy 0,9359 и macro-F1 0,9052.

Предсказания на коротких текстах короче пяти токенов ненадёжны. Смешение арабского с английским или французским может сбивать классификатор, а близкие географические диалекты — путаться; качество некоторых классов может быть ниже из-за смещения обучающего корпуса. Модель не предназначена для идентификации людей и высокорисковых решений без проверки человеком. Лицензия в предоставленных данных не указана.

Сценарии применения

  • определение арабского диалекта для выбора голоса в системе синтеза речи
  • классификация арабских реплик по региональным диалектам
  • разметка диалектов в текстовых датасетах
  • маршрутизация арабского текста по диалектным NLP-конвейерам
  • фильтрация контента по арабскому диалекту

Ограничения

Тексты короче пяти токенов и код-свитчинг могут приводить к ненадёжным предсказаниям; близкие диалекты могут путаться, а у некоторых классов ниже полнота. Модель не следует использовать для идентификации людей или высокорисковых решений без проверки человеком.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

dialect-router-v0.2

A lightweight Arabic dialect identification model that classifies input text into one of 15 language codes: 13 Arabic dialects, Modern Standard Arabic, and English. It is the routing backbone in the Lahgtna pipeline, automatically selecting the correct voice reference and Chatterbox language token for speech synthesis.

v0.2 is a fine-tune of asafaya/bert-mini-arabic and expands coverage from 10 to 13 Arabic dialects, and adds an English label.

Model Details

PropertyValue
Base modelasafaya/bert-mini-arabic
ArchitectureBERT-mini encoder + sequence classification head
TaskMulti-class text classification (15 classes)
InputRaw text (up to 512 tokens)
OutputOne of 15 dialect / language codes
LanguagesArabic (ar), English (en)
LicenseMIT

Evaluation Results

MetricScore
Accuracy0.9359
F1 Macro0.9052
Eval Loss0.4537

Dialect Labels

IDLabelDialect / LanguageRegion
0arModern Standard Arabic (MSA)—
1bhBahrainiBahrain
2dzAlgerianAlgeria
3egEgyptianEgypt
4enEnglish—
5iqIraqiIraq
6lbLebaneseLebanon
7lyLibyanLibya
8maMoroccan (Darija)Morocco
9psPalestinianPalestine
10saSaudiSaudi Arabia
11sdSudaneseSudan
12sySyrianSyria
13tnTunisianTunisia
14yeYemeniYemen

What's New in v0.2

  • 13 Arabic dialects (up from 10): adds Bahraini (bh), Algerian (dz), and Yemeni (ye)
  • English label (en) — English input is now routed explicitly instead of being out-of-scope
  • Moroccan label renamed mo → ma (ISO 3166 country code)
  • New base model: asafaya/bert-mini-arabic — smaller and faster for routing workloads
  • Retrained on an expanded multi-dialect corpus

Intended Use

Primary use Dialect-aware TTS routing — given an Arabic utterance, predict the dialect so the correct speaker reference audio and Chatterbox language code can be selected automatically.

Secondary use Standalone Arabic dialect identification for NLP pipelines, content filtering, dataset analysis, or any application that needs to distinguish Arabic dialects programmatically.

Out-of-scope use

  • Languages other than Arabic and English
  • Code-switched text (Arabic + English mixed)
  • Dialect intensity scoring or fine-grained subdialect classification
  • High-stakes decisions without human review

How to Use

Direct inference

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_id = "oddadmix/dialect-router-v0.2"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(model_id)
model.eval()

text = "اه ياراسي الواحد دماغه وجعاه"
inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512)
with torch.no_grad():
    logits = model(**inputs).logits

pred_id = torch.argmax(logits, dim=-1).item()
dialect = model.config.id2label[pred_id]
print(dialect)  # e.g. "eg"

With the Transformers pipeline

from transformers import pipeline

classifier = pipeline(
    "text-classification",
    model="oddadmix/dialect-router-v0.2",
)
result = classifier("اه ياراسي الواحد دماغه وجعاه")
print(result)
# [{'label': 'eg', 'score': 0.94}]

Inside Lahgtna TTS

from inference import run_pipeline

# Dialect is detected automatically
run_pipeline(
    text="اه ياراسي الواحد دماغه وجعاه",
    output_path="output.wav",
)

Training Procedure

Hyperparameters

  • learning_rate: 3e-05
  • train_batch_size: 64
  • eval_batch_size: 64
  • seed: 42
  • optimizer: AdamW (betas=(0.9, 0.999), epsilon=1e-08)
  • lr_scheduler_type: cosine
  • num_epochs: 20
  • mixed_precision_training: Native AMP

Limitations & Biases

  • Short texts (< 5 tokens) may produce unreliable predictions — the model benefits from sentence-length input.
  • Code-switched text (e.g. Arabic + French in Maghrebi dialects, or Arabic + English) may confuse the classifier; heavily mixed input may be routed to en.
  • Dialect continuum — dialects from geographically adjacent regions (e.g. sy / lb / ps, ma / dz / tn, sa / bh) may be confused by the model.
  • Corpus bias — label distribution in training data may not reflect real-world dialect prevalence; some dialects (e.g. sd, ly, bh, ye) may have lower recall.
  • This model should not be used for identity classification of individuals.

Citation

@misc{lahgtna-dialect-router-2026,
  title  = {dialect-router-v0.2: Arabic Dialect Identification for TTS Routing},
  author = {Oddadmix},
  year   = {2026},
  url    = {https://huggingface.co/oddadmix/dialect-router-v0.2}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
b8c1bd6

0 моделей