/ Модель

Характеристики

Контекст
512 токенов
Параметры
190 млн
Архитектура
bert · dense
Опубликована
9 авг 2022

arabic-MARBERT-dialect-identification-city

Классификация текстаТекст → label3 профессии

Модель относит арабский текст к одной из 26 городских категорий диалекта.

152скачиваний за 30 дней12лайковвеса обновлены9 авг 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

arabic-MARBERT-dialect-identification-city — модель классификации арабских текстов по городским диалектам, созданная дообучением MARBERT на корпусе MADAR Corpus 26. Она относит текст к одной из 26 категорий, соответствующих городам; пример применения — определение диалекта коротких фраз. Модель построена на архитектуре BERT, содержит 190 млн параметров и рассчитана на контекст до 512 токенов. Принимает арабский текст и выдаёт метку класса с оценкой уверенности. В карточке не указана лицензия.

Сценарии применения

  • определение городского арабского диалекта в коротком сообщении
  • классификация арабской фразы по диалекту города
  • анализ диалектных текстов из MADAR Corpus 26

Ограничения

Обучение описано для 26 городских меток корпуса MADAR Corpus 26, поэтому модель не предназначена для распознавания произвольных диалектных категорий за его пределами. Для коротких или неоднозначных текстов предсказание может быть неуверенным.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Arabic-MARBERT-dialect-Identification-City Model

Model description

arabic-MARBERT-dialect-identification-city Model is a dialect identification model that was built by fine-tuning the MARBERT model. For the fine-tuning, I used MADAR Corpus 26 dataset, which includes 26 labels(cities).

How to use

To use the model with a transformers pipeline:

>>>from transformers import pipeline
>>>model = pipeline('text-classification', model='Ammar-alhaj-ali/arabic-MARBERT-dialect-identification-city')
>>>sentences = ['ناطرين البرنامج', 'اكلنا هوا بهل شروة']
>>>model(sentences)
[{'label': 'Beirut', 'score': 0.9731963276863098},
{'label': 'Aleppo', 'score': 0.4592577815055847}]

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
79192c0

0 моделей