Our Arabic Dialect Identification models are trained to accurately identify spoken dialects in Arabic text. Developed as part of a larger project, these models were trained using a combination of publicly available datasets and fine-tuned on our own dataset. With high accuracy in identifying Arabic dialects, our models can be utilized in a variety of applications. Check out our project on Arabic Dialect Identification for more information! https://github.com/Lafifi-24/arabic-dialect-identification
Характеристики
- Контекст
- 512 токенов
- Параметры
- 190 млн
- Архитектура
- bert · dense
- Опубликована
- 30 дек 2022
Ссылки
arbert_arabic_dialect_identification
Производная модели lafifi-24/arabicBert_arabic_dialect_identification. Классификатор на базе BERT определяет арабский диалект по тексту.
14скачиваний за 30 дней1лайквеса обновлены30 апр 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Карточка модели lafifi-24/arbert_arabic_dialect_identification на Hugging Face совпадает с карточкой lafifi-24/arabicBert_arabic_dialect_identification, поэтому описание составлено по ней.
Модель lafifi-24/arabicBert_arabic_dialect_identification — классификатор арабского текста, разработанный в рамках проекта по определению арабских диалектов. Она дообучена на сочетании общедоступных наборов данных и собственного набора разработчиков и предназначена для определения диалекта по тексту разговорного арабского языка. Модель основана на BERT, содержит 137,8 млн параметров и принимает последовательности длиной до 512 токенов.
Её можно применять для автоматической разметки диалектов в текстах, маршрутизации обращений по региону и анализа арабоязычных пользовательских сообщений. Карточка сообщает о высокой точности, но не приводит численных метрик или перечня распознаваемых диалектов, поэтому качество на конкретных данных следует проверять отдельно. В репозитории указаны веса PyTorch; условия лицензии в доступных данных не приведены.
Сценарии применения
- определение диалекта в арабоязычных сообщениях
- автоматическая разметка арабских текстов по диалектам
- сегментация арабоязычной аудитории по региональным вариантам речи
Ограничения
Карточка не приводит численных метрик и списка диалектов, поэтому качество распознавания отдельных вариантов следует проверять на целевых данных. Лицензия в доступных сведениях не указана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейIII.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · text-classification
Подбираем GPU…
- Класс архитектуры
- BertForSequenceClassification
- Ревизия весов
- a546263