Характеристики

Лицензия: Apache 2.0
Библиотека: transformers
Опубликована: 29 июн 2026

Ссылки

AraNeoBERT-v3-dialect

Заполнение пропусковТекст → текст3 профессии

Арабоязычный энкодер AraNeoBERT v3 предсказывает замаскированные токены и служит основой для дообучения на задачах анализа арабского текста.

18скачиваний за 30 дней0лайковвеса обновлены29 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

AraNeoBERT v3 (dialect-augmented) — арабоязычный энкодер примерно на 250 млн параметров, разработанный miweru в сотрудничестве с SinaLab for Computational Linguistics and Artificial Intelligence. Модель обучена предсказывать замаскированные токены и предназначена для заполнения пропусков в арабском тексте; её представления также можно использовать при дообучении для распознавания именованных сущностей и анализа тональности.

Архитектура основана на NeoBERT/ModernBERT: 28 слоёв, размер скрытого состояния 768, чередование локального и глобального внимания. Контекст — до 4096 токенов; токенизатор SentencePiece Unigram содержит 64 тысячи токенов. Предобучение охватывает современный стандартный арабский и диалектные тексты, включая египетский, марокканский, надждийский, левантийский и иракский варианты. В карточке приведены результаты дообученных вариантов на NER и анализе тональности, но сама модель является энкодером для masked language modeling.

Для загрузки требуется пользовательский код модели в Transformers с параметром trust_remote_code=True. Лицензия — Apache-2.0. README описывает модель как исследовательский артефакт и указывает, что она частная; доступность весов и условия практического использования могут быть ограничены.

Сценарии применения

Заполнение пропусков в арабских предложениях
Подготовка энкодера для распознавания именованных сущностей на арабском
Дообучение для анализа тональности арабских отзывов и публикаций
Работа с текстами на современном стандартном арабском и диалектах

Ограничения

Для загрузки требуется trust_remote_code=True. README обозначает модель как частный исследовательский артефакт; на задачах анализа тональности диалектных публикаций она уступает специализированным моделям.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

AraNeoBERT v3 (dialect-augmented)

A ~250M-parameter modern Arabic encoder (NeoBERT/ModernBERT-style) pretrained with MLM on an AraMix web backbone plus MSA news/books, augmented with ~17% dialectal data (FineWeb-2 dialect slices: Egyptian/Moroccan/Najdi/Levantine/Iraqi + filtered tweets). 28 layers, hidden 768, 12 heads; alternating local/global attention (window 128, global every 3 layers), QK-Norm, RoPE (dual theta 10k local / 160k global), StableAdamW + WSD, three-phase length curriculum to 4096. 64k SentencePiece Unigram tokenizer with web_canonical normalization baked into the fast tokenizer.

Held-out AraMix MLM pseudo-perplexity: 16.82 @ seq 4096.

Usage

This model uses custom modeling code — load with trust_remote_code=True:

from transformers import AutoTokenizer, AutoModelForMaskedLM
tok = AutoTokenizer.from_pretrained("miweru/AraNeoBERT-v3-dialect")
model = AutoModelForMaskedLM.from_pretrained("miweru/AraNeoBERT-v3-dialect", trust_remote_code=True)

AutoModel, AutoModelForMaskedLM, AutoModelForSequenceClassification and AutoModelForTokenClassification heads are registered.

Downstream benchmark (finetuned, identical recipe across models)

Task	AraNeoBERT-v3	AraBERT v0.2	AraModernBERT	MARBERTv2
ANERcorp NER (entity-F1)	0.815	0.823	0.714	0.807
ASTD sentiment (macro-F1)	0.561	0.568	0.540	0.637
ArSarcasm sentiment (macro-F1)	0.709	0.735	0.705	0.752
AJGT sentiment (acc)	0.911	0.942	0.917	0.950

Strongest on MSA/NER (beats AraModernBERT decisively, edges MARBERTv2); dialectal social-media sentiment is competitive but trails the dialect specialists.

Research artifact; private. Built in cooperation with SinaLab for Computational Linguistics and Artificial Intelligence.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 47155e6