/ Модель

Характеристики

Контекст
512 токенов
Параметры
12,4 млн
Лицензия
MIT
Архитектура
bert · dense
Базовая модель
bert-mini-arabic
Библиотека
transformers
Опубликована
19 мар 2026

dialect-router-v0.1

Классификация текстаТекст → label5 профессий

Компактная дообученная модель BERT определяет один из 11 арабских диалектов для маршрутизации синтеза речи и разметки текстов.

88скачиваний за 30 дней9лайковвеса обновлены17 апр 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

oddadmix/dialect-router-v0.1 — компактная модель на основе BERT, дообученная для определения арабского диалекта по тексту. Она классифицирует арабоязычные фразы по 11 кодам диалектов и языковых вариантов, используя энкодер Transformer с классификационной головой; размер модели — 12,4 млн параметров, максимальная длина входа — 512 токенов. Модель предназначена прежде всего для маршрутизации синтеза речи в Lahgtna: по диалекту выбираются соответствующая голосовая запись и языковой токен Chatterbox. Её также можно использовать для разметки арабских текстов в NLP-конвейерах, фильтрации контента и анализа наборов данных.

Модель работает с арабским текстом и не предназначена для других языков. Короткие фрагменты, смешение арабского с другими языками и близкие географически диалекты могут приводить к ошибкам; полнота распознавания некоторых вариантов может быть ниже из-за смещения обучающего корпуса. Модель не следует использовать для определения личности или для высокорисковых решений без проверки человеком. Опубликована под лицензией MIT.

Сценарии применения

  • автоматический выбор голоса и языкового токена для синтеза арабской речи
  • определение диалекта в арабских сообщениях и фразах
  • разметка арабских текстов по диалектам в NLP-конвейере
  • сегментация корпуса арабских текстов по региональным вариантам
  • фильтрация контента по арабскому диалекту

Ограничения

Короткие тексты, смешение арабского с другими языками и близкие региональные диалекты могут снижать точность; некоторые диалекты могут распознаваться хуже из-за смещения обучающих данных. Не предназначена для определения личности; высокорисковые решения требуют проверки человеком.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

dialect-router-v0.1

A lightweight Arabic dialect identification model that classifies input text into one of 11 Arabic dialect / language codes. It is used as the routing backbone in the Lahgtna pipeline to automatically select the correct voice reference and Chatterbox language token for speech synthesis.


Model Details

PropertyValue
ArchitectureTransformer encoder (sequence classification head)
TaskMulti-class text classification
InputRaw Arabic text (up to 512 tokens)
OutputOne of 11 dialect codes
LanguageArabic (ar)
LicenseMIT

Dialect Labels

LabelDialectRegion
egEgyptianEgypt
saSaudiSaudi Arabia
moMoroccan (Darija)Morocco
iqIraqiIraq
sdSudaneseSudan
tnTunisianTunisia
lbLebaneseLebanon
sySyrianSyria
lyLibyanLibya
psPalestinianPalestine
arModern Standard Arabic (MSA)—

Intended Use

Primary use

Dialect-aware TTS routing — given an Arabic utterance, predict the dialect so the correct speaker reference audio and Chatterbox language code can be selected automatically.

Secondary use

Standalone Arabic dialect identification for NLP pipelines, content filtering, dataset analysis, or any application that needs to distinguish Arabic dialects programmatically.

Out-of-scope use

  • Non-Arabic languages
  • Code-switched text (Arabic + English mixed)
  • Dialect intensity scoring or fine-grained subdialect classification
  • High-stakes decisions without human review

How to Use

Direct inference

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_id = "oddadmix/dialect-router-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(model_id)
model.eval()

text = "اه ياراسي الواحد دماغه وجعاه"

inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512)
with torch.no_grad():
    logits = model(**inputs).logits

pred_id = torch.argmax(logits, dim=-1).item()
dialect = model.config.id2label[pred_id]
print(dialect)  # e.g. "eg"

With the Transformers pipeline

from transformers import pipeline

classifier = pipeline(
    "text-classification",
    model="oddadmix/dialect-router-v0.1",
)
result = classifier("اه ياراسي الواحد دماغه وجعاه")
print(result)
# [{'label': 'eg', 'score': 0.94}]

Inside Lahgtna TTS

from inference import run_pipeline

# Dialect is detected automatically
run_pipeline(
    text="اه ياراسي الواحد دماغه وجعاه",
    output_path="output.wav",
)

Limitations & Biases

  • Short texts (< 5 tokens) may produce unreliable predictions — the model benefits from sentence-length input.
  • Code-switched text (e.g. Arabic + French in Moroccan Darija, or Arabic + English) may confuse the classifier.
  • Dialect continuum — dialects from geographically adjacent regions (e.g. sy / lb, eg / ly) may be confused by the model.
  • Corpus bias — label distribution in training data may not reflect real-world dialect prevalence; some dialects (e.g. sd, ly) may have lower recall.
  • This model should not be used for identity classification of individuals.

Citation

If you use this model in your research or product, please cite:

@misc{lahgtna-dialect-router-2025,
  title  = {dialect-router-v0.1: Arabic Dialect Identification for TTS Routing},
  author = {Oddadmix},
  year   = {2025},
  url    = {https://huggingface.co/oddadmix/dialect-router-v0.1}
}

Related Resources

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
2318b62

0 моделей