II.8Инженерия данных и аналитика
В разделе собраны самостоятельные задачи, где AI помогает готовить надёжные данные и превращать их в понятную аналитику. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
23 488 моделейTabSTAR — модель для классификации табличных данных с текстовыми признаками, разработанная Аланом Арази и соавторами. Она предназначена для переноса обучения между наборами данных и использует семантически ориентированные на целевую переменную представления: предварительно обученный текстовый кодировщик дообучается и получает токены целевой переменной, задающие контекст для формирования признаков. Архитектура не содержит параметров, привязанных к конкретному набору данных. В карточке Hugging Face указано 12,4 млн параметров; базовая модель — intfloat/e5-small-v2, формат весов — safetensors. TabSTAR рассчитана на классификацию таблиц, содержащих свободный текст, и показала высокие результаты на описанных в статье бенчмарках для наборов среднего и большого размера. Для обучения на собственных данных README рекомендует пакет tabstar. Метаданные указывают лицензию CC BY 4.0, тогда как README заявляет MIT; условия лицензирования следует сверить с фактическими файлами репозитория.
yazdipour/text-to-sparql-t5-small-qald9 — модель T5ForConditionalGeneration с 38,5 млн параметров, дообученная для преобразования текстовых запросов в запросы SPARQL. Карточка указывает, что это вариант модели yazdipour/text-to-sparql-t5-small-2021-10-19_10-17_lastDS, дообученный на датасете QALD-9. Модель принимает текст и генерирует текст запроса SPARQL; её можно использовать для перевода вопросов на естественном языке в запросы к базам знаний и RDF-хранилищам. Максимальная длина контекста — 512 токенов. Данные о поддерживаемых естественных языках и оценках качества в карточке отсутствуют. Модель опубликована под лицензией Apache-2.0.
tinymistral-v2-pycoder-instruct-248m — инструктивная модель для генерации кода на Python, опубликованная jtatman и дообученная на базе Locutusque/TinyMistral-248M-v2-Instruct. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 215,2 млн параметров. Она принимает текстовые инструкции в формате ChatML и генерирует Python-код; заявленное контекстное окно — 32 768 токенов. Модель обучалась на трех наборах данных с Python-кодом и инструкциями после преобразования в формат Alpaca/instruct. Карточка описывает её как находящуюся в активной разработке и предупреждает, что качество генерируемого кода различается. Лицензия в метаданных указана как Apache-2.0, тогда как README указывает MIT; проверьте лицензию репозитория перед использованием.
Это англоязычная модель RoBERTa-base для классификации тональности публикаций в Twitter на отрицательную, нейтральную и положительную. Репозиторий содержит версию весов исходной модели Cardiff NLP `cardiffnlp/twitter-roberta-base-sentiment-latest`, преобразованную в формат safetensors; архитектура и поведение модели не менялись, переобучения не было. Модель подходит для определения тональности англоязычных твитов и анализа настроений в коротких сообщениях. Она построена на архитектуре RoBERTa для классификации последовательностей, содержит около 151,8 млн параметров и принимает текст с контекстом до 514 токенов. Обучение исходной модели связано с набором TweetEval и примерно 124 млн твитов за 2018–2021 годы. Лицензия репозитория — CC BY 4.0. Модель ориентирована на англоязычные публикации в Twitter; результаты на других языках и типах текста могут быть менее надёжными. Преобразование в safetensors само по себе не меняет точность или область применения исходной модели.
Wav2Vec2-Base-VoxPopuli-Finetuned — модель распознавания речи, разработанная Facebook AI. Она основана на архитектуре Wav2Vec2 Base: предварительно обучена на 10 тысячах часов неразмеченной речи из корпуса VoxPopuli, а затем дообучена на расшифрованных англоязычных данных. Модель преобразует аудиозапись на английском языке в текст и предназначена для автоматической транскрибации речи, в том числе записей, подобных материалам Common Voice. Она содержит 113,3 млн параметров и использует архитектуру Wav2Vec2ForCTC. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценки точности и подробных ограничений качества; применимость к языкам, отличным от английского, не заявлена.
Weather-Image-Classification — модель prithivMLmods для классификации изображений по погодным условиям. Она дообучена на базе google/siglip2-base-patch16-224 с архитектурой SiglipForImageClassification и использует библиотеку Transformers. Модель относит изображение к одному из пяти классов: облачно или пасмурно, туман или дымка, дождь или шторм, снег или иней, ясно или солнечно. Модель предназначена для автоматической разметки фотографий и медиаматериалов, подготовки датасетов для исследований погоды, а также анализа сцен в системах наблюдения, дорожной инфраструктуре и автономном транспорте. Она принимает изображения и выдаёт метку погодного класса. Обучение выполнено на наборе WeatherNet-05. Модель распространяется по лицензии Apache-2.0.
Whisper Hindi Medium — модель распознавания речи, дообученная Vasista22 на основе openai/whisper-medium на данных для автоматического распознавания речи на хинди из нескольких открытых корпусов. Она предназначена для преобразования аудиозаписей на хинди в текст, в том числе для обработки речевых корпусов и оценки качества транскрипции. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров; доступны форматы PyTorch и Flax. Для работы с Flax в карточке упоминается библиотека whisper_jax. Обучение использовало GramVaani ASR Corpus, ULCA ASR Corpus, Shrutilipi ASR Corpus и обучающую и валидационную части Google Fleurs. Лицензия — Apache-2.0. Карточка не приводит количественных оценок качества, поэтому точность на конкретных типах записей по ней определить нельзя.
tsmatz/xlm-roberta-ner-japanese — модель извлечения именованных сущностей, созданная дообучением xlm-roberta-base. Она размечает токены японского текста; модель предназначена для поиска упоминаний людей, организаций и других типов сущностей в предложениях и документах. Обучение проводилось на датасете NER от Stockmark Inc., собранном из статей японской Википедии. Модель основана на архитектуре XLM-RoBERTa, имеет около 305,2 млн параметров и принимает контекст до 514 токенов. Она распространяется в форматах PyTorch и Safetensors под лицензией MIT. Карточка указывает классы PER и ORG среди меток; качество и полнота распознавания остальных классов в предоставленном фрагменте README не описаны.
AutoCoder_S_6.7B — модель генерации кода из семейства Llama, представленная как версия AutoCoder размером 6,7 млрд параметров. Она предназначена для генерации кода и диалогового взаимодействия; проект AutoCoder также описывает возможность устанавливать нужные пакеты и запускать сгенерированный код по запросу пользователя. В карточке базовой моделью названа DeepSeek-Coder, но её идентификатор на Hugging Face не указан. Контекст модели составляет 16 384 токена. Модель может быть полезна для написания и запуска фрагментов кода. README приводит результаты HumanEval выше GPT-4 Turbo для версии AutoCoder на 33 млрд параметров; эти показатели не относятся напрямую к версии 6,7 млрд параметров. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.
ken11/bert-japanese-ner — японская модель для извлечения именованных сущностей, разработанная компанией Stockmark. Она основана на предварительно обученной японской BERT-модели лаборатории Курохаси, Чу и Мураваки Киотского университета и дообучена на наборе ner-wikipedia-dataset от Stockmark. Модель использует архитектуру BERT с классификатором токенов, содержит 435,4 млн параметров и рассчитана на контекст до 512 токенов. Модель размечает японский текст сущностями в формате BILUO с метками из обучающего набора данных. Её можно применять для извлечения имён и других именованных сущностей из текстов на японском языке. Для работы требуется токенизатор исходной японской BERT-модели; он не входит в репозиторий. Лицензия — MIT.
mavinsao/bert-sst2-sentiment — модель классификации текста на основе BERT, дообученная на google-bert/bert-base-uncased. Она предназначена для определения тональности английских текстов в сценариях анализа отзывов и коротких высказываний. В README указаны результаты оценки: accuracy и F1 — 0,9197, precision — 0,9201, recall — 0,9197; в метаданных указан набор данных Stanford Sentiment Treebank 2 (SST-2). Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и доступна в формате PyTorch. Распространяется по лицензии Apache-2.0. Она решает задачу классификации текста; результаты приведены для оценки на конкретном наборе данных SST-2, поэтому их нельзя считать гарантией качества на других языках, доменах или типах текстов.
kuro-08/bert-transaction-categorization — англоязычная модель классификации финансовых транзакций, разработанная дообучением bert-base-uncased. Она относит текстовые описания операций к заранее заданным категориям, например к покупкам продуктов, транспорту и развлечениям. Модель построена на архитектуре BERT для классификации последовательностей, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для автоматической категоризации расходов в приложениях учета финансов и при обработке банковских операций. Она обучена на английских описаниях транзакций; качество на других языках и категориях, отличающихся от заданных при обучении, не подтверждено. Лицензия — Apache-2.0.
HYM/Cbert_base_ws-finetuned-ner — модель на архитектуре BERT, дообученная разработчиком HYM на основе ckiplab/bert-base-chinese-ws для разметки последовательностей токенов. Она предназначена для извлечения именованных сущностей в китайском тексте. В README приведены результаты на оценочном наборе: F1 0,9617, точность 0,9602, полнота 0,9633 и accuracy 0,9827; состав набора данных и подробности обучения не описаны. Модель принимает текст и выдаёт метки для его токенов. Контекст ограничен 512 токенами. Репозиторий содержит веса PyTorch; лицензия — GPL-3.0.
ColD-Fusion — текстовая модель на базе RoBERTa, разработанная IBM Research и дообученная на смеси из 35 датасетов. Она предназначена прежде всего как универсальная отправная точка для дообучения под новые задачи классификации текста; также из неё можно извлекать векторные представления текста. Архитектура — RoBERTa с 151,8 млн параметров, контекст — до 514 токенов. Модель принимает текст и формирует представления или классификационные оценки; в метаданных Hugging Face основная задача указана как text-classification, язык карточки — английский. ColD-Fusion показывает сильные результаты на наборе разнообразных задач, включая анализ тональности, определение тематики, распознавание текстовых отношений и классификацию эмоций. В README сообщается, что при оценке на 36 датасетах средний балл составил 78,47 против 76,22 у RoBERTa-base. Лицензия — MIT. Для прикладной задачи рекомендуется дообучить модель на соответствующих данных; оценки из README не гарантируют аналогичного качества на других доменах.
viswavi/datafinder-huggingface-prompt-queries — модель, опубликованная Vijay Viswanathan, предназначенная для извлечения признаков из текстовых запросов и поиска или рекомендации подходящих наборов данных в Hugging Face по естественно-языковому описанию задачи. Она связана с проектом DataFinder, который решает задачу текстового поиска научных наборов данных и ранжирования релевантных результатов. Модель имеет BERT-подобную архитектуру, реализована с использованием Transformers и PyTorch, содержит около 137,1 млн параметров и поддерживает контекст до 512 токенов. Основной режим применения — feature extraction: модель преобразует текстовые запросы в векторные представления для последующего сравнения и retrieval. Лицензия MIT. Поддерживаемые языки явно не определены в доступных метаданных.
Это модель spaCy от PlanTL-GOB-ES для выявления чувствительных данных в пользовательских текстах на испанском и каталанском языках. Она предназначена для работы внутри AnonymizationPipeline от BSC и не является самостоятельным готовым приложением. Модель выполняет токенную классификацию и распознаёт сущности EMAIL, FINANCIAL, ID, LOC, MISC, ORG, PER, TELEPHONE, VEHICLE и ZIP. Её можно применять как этап обработки для последующей анонимизации адресов электронной почты, финансовых и идентификационных данных, мест, организаций, людей, телефонов, транспортных средств и почтовых индексов. Карточка указывает версию 1.0.0 и совместимость со spaCy версии 3.2.3 или новее. Размер модели и длина контекста не приведены. Качество распознавания может зависеть от типа текста и соответствия его испанскому или каталанскому языку; для использования требуется интеграция с указанным конвейером. Лицензия — MIT.
EXAONE Tabular — трансформерная фундаментальная модель для классификации и регрессии на структурированных табличных данных, разработанная LG AI Research. Она использует архитектуру Cross-axis Summary Transformer (CAST) и обучение в контексте: получает размеченные строки через интерфейс fit и предсказывает значения для новых строк без обновления градиентов и отдельного обучения на каждом наборе данных. В репозитории доступны отдельные контрольные точки классификатора примерно на 20,8 млн параметров и регрессора примерно на 21,1 млн параметров. Модель предназначена для задач обучения с учителем на таблицах в пределах проверенных размеров выборок и числа признаков. API в стиле scikit-learn поддерживает fit и predict, а классификатор также предоставляет predict_proba; модель можно использовать в sklearn.pipeline.Pipeline. В README сообщается о конкурентных результатах на TabArena, включая первое место среди классификаторов в описанном сравнении. При классификации нативная голова поддерживает до 10 классов; для большего числа классов применяется ECOC-декомпозиция, повышающая стоимость вывода. Большие наборы опорных примеров могут прореживаться, а очень большие входы выходят за пределы проверенного режима. Модель не предназначена для необработанных изображений, текста, аудио или видео. Код runtime лицензирован разрешительно, но веса доступны только для некоммерческих исследований и обучения.
ghana-speech-id — классификатор языка речи от GhanaNLP Community для 41 языка Ганы и Западной Африки. Модель определяет язык по текстовой расшифровке аудио: аудиосигнал сначала распознаётся отдельной моделью Omnilingual ASR, затем этот классификатор анализирует полученный текст. Его языковая голова — линейный классификатор символьных n-грамм с TF-IDF, упакованный в ONNX; размер головы составляет 8,2 МБ. В репозитории также размещена модель распознавания речи Omnilingual ASR CTC 300M размером 279 МБ. Модель предназначена для автоматической идентификации языка в аудиозаписях. Для надёжных результатов рекомендуется подавать не менее пяти секунд речи, а около десяти секунд дают близкую к максимальной точность. В README указаны точность 95,30% на внутридоменной оценке и 77,6% на внедоменных данных; качество зависит от тематики записи и заметно ниже на финансовых материалах. Классификатор работает только с закрытым набором из 41 языка: он всегда назначает один из них, поэтому языки вне набора могут ошибочно определяться как близкие. Английского класса нет, а Fante во внедоменных записях часто смешивается с Twi. Лицензия репозитория — CC-BY-NC-4.0; вложенная модель ASR Meta распространяется отдельно по Apache 2.0.
whr778/gliner2-large-v1-wikievents — модель извлечения информации на базе GLiNER2, дообученная на fastino/gliner2-large-v1. Она предназначена для совместного извлечения именованных сущностей, типов и триггеров событий, а также связанной с событиями информации; карточка также указывает извлечение отношений и классификацию. Модель использует библиотеку gliner2 и опубликована в формате safetensors. Модель обучена на англоязычном наборе WikiEvents: 206 записей для обучения и по 20 для валидации и тестирования. Он включает онтологию из 49 типов событий и 57 ролей аргументов. В слепом тесте F1 для типов событий составил 0,962, для триггеров событий — 0,583 строго и 0,597 при relaxed-оценке; качество зависит от категории и способа сопоставления. Лицензия указана как other, поэтому условия использования следует уточнить в карточке модели и источнике набора данных.
Yanni8/google-query-rating — модель классификации текста на основе BERT, дообученная разработчиком репозитория на наборе google_wellformed_query. Она предназначена для оценки и классификации поисковых запросов, например, для анализа их корректности или пригодности; подробное описание целевых классов и сценариев в карточке не приведено. Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и использует архитектуру BertForSequenceClassification. Репозиторий предоставляет веса в формате safetensors. Модель основана на google-bert/bert-base-uncased и выпущена под лицензией Apache 2.0. Карточка не содержит сведений о точности, схеме меток и ограничениях оценки, поэтому перед применением в автоматизированных решениях результаты следует проверить на данных целевого сценария.
HaS Text — компактная языковая модель для локальной обработки конфиденциального текста, разработанная автором репозитория maoge888888. Она дообучена на базе Qwen3-0.6B-Base и предназначена для конвейера защиты данных: распознавания именованных и чувствительных сущностей, их согласованной анонимизации и восстановления по сохранённому словарю соответствий. Модель поддерживает китайский, английский, португальский, французский, испанский, немецкий, корейский и японский языки. Модель использует плотную архитектуру Qwen3ForCausalLM и содержит около 508 млн параметров. Репозиторий содержит веса Safetensors в FP16; заявленный контекст — 32 768 токенов. Среди описанных возможностей — семантические метки для заменённых сущностей, разрешение вариантов написания одной сущности, согласованность между ходами диалога и обработка длинных документов частями. Для инференса README рекомендует локальный запуск через llama.cpp; производительность приведена для Apple M4 Pro и может отличаться на другом оборудовании. Модель рассчитана на NER и генерацию текста при анонимизации, но качество зависит от точного соблюдения обучающих шаблонов промптов: README предупреждает, что отклонения могут ухудшить результат. Указанная лицензия — MIT. В README FP16-версия названа базовой для дообучения и исследований, а для производственного развертывания рекомендованы отдельные квантованные варианты.
Карточка модели xuanwulab/HaS_Text_0209_0.6B на Hugging Face совпадает с карточкой maoge888888/HaS_Text_0209_0.6B, поэтому описание составлено по ней. HaS Text — компактная языковая модель для локальной обработки конфиденциального текста, разработанная автором репозитория maoge888888. Она дообучена на базе Qwen3-0.6B-Base и предназначена для конвейера защиты данных: распознавания именованных и чувствительных сущностей, их согласованной анонимизации и восстановления по сохранённому словарю соответствий. Модель поддерживает китайский, английский, португальский, французский, испанский, немецкий, корейский и японский языки. Модель использует плотную архитектуру Qwen3ForCausalLM и содержит около 508 млн параметров. Репозиторий содержит веса Safetensors в FP16; заявленный контекст — 32 768 токенов. Среди описанных возможностей — семантические метки для заменённых сущностей, разрешение вариантов написания одной сущности, согласованность между ходами диалога и обработка длинных документов частями. Для инференса README рекомендует локальный запуск через llama.cpp; производительность приведена для Apple M4 Pro и может отличаться на другом оборудовании. Модель рассчитана на NER и генерацию текста при анонимизации, но качество зависит от точного соблюдения обучающих шаблонов промптов: README предупреждает, что отклонения могут ухудшить результат. Указанная лицензия — MIT. В README FP16-версия названа базовой для дообучения и исследований, а для производственного развертывания рекомендованы отдельные квантованные варианты.
Image-Guard-ckpt-3312 — экспериментальная модель классификации изображений для проверки их безопасности. Она разработана на основе google/siglip2-base-patch16-224 и дообучена с архитектурой SiglipForImageClassification; файлы представлены в формате safetensors. Модель относит изображения к пяти категориям безопасности, включая безопасные аниме- и обычные изображения, а также откровенный контент в стиле аниме. Модель предназначена для модерации изображений, фильтрации наборов данных и предварительной проверки визуальных входов в мультимодальных и генеративных системах. Она принимает изображение и выдаёт категорию, поэтому подходит для автоматической сортировки и сигнализации о потенциально чувствительном контенте. Разработчик предупреждает, что это экспериментальный чекпойнт и для производственного применения рекомендует финальные версии моделей. Лицензия — Apache-2.0.
allenai/ivila-block-layoutlm-finetuned-docbank — модель Allen Institute for AI (AI2) для классификации токенов в научных документах с учётом их визуальной структуры. Она основана на архитектуре LayoutLM и дообучена на наборе DocBank; вариант block обрабатывает документные блоки. Модель рассчитана на разметку текстовых фрагментов в научных статьях, например для определения типов элементов страницы. Модель имеет 136,7 млн параметров, принимает последовательности длиной до 512 токенов и поддерживает английский язык. Карточка указывает задачу token classification и формат PyTorch. Применение возможно через Transformers. Сведения о лицензии и конкретных ограничениях качества в доступных источниках не приведены.
Модель chunwoolee0/klue_ner_roberta_model — дообученная для классификации токенов версия klue/roberta-base, созданная на датасете KLUE. Она предназначена для разметки текста по токенам, в частности для распознавания именованных сущностей в корейском языке. Модель построена на архитектуре RoBERTa и содержит 137,8 млн параметров; максимальная длина контекста — 514 токенов. Для токенизации рекомендуется использовать BertTokenizer или AutoTokenizer из Transformers. В README приведены результаты на оценочной выборке: F1 0,9552, точность 0,9546, полнота 0,9557 и accuracy 0,9884. Эти значения относятся к указанной выборке и не гарантируют такое же качество на других данных. Условия лицензии в доступных сведениях не указаны.
FineEnvs выпустила чекпойнт LFM2.5-2.6B после 1 000 шагов полного дообучения LiquidAI/LFM2.5-2.6B методом асинхронного GRPO. Модель предназначена для агентных задач анализа данных, где нужно решать задачи в среде с инструментами; обучение и оценка использовали OpenCode, Claude Code, Codex и Mini-SWE-Agent. Это плотная языковая модель с 2,6 млрд параметров и контекстом 131 072 токена. В README указана оценка pass@1 54,2% на 250 задачах SmolDataEnvs, проверенных в четырёх средах, а также на 31,1% меньше вызовов инструментов среди пар задач, решённых и базовой моделью, и чекпойнтом. Модель принимает текст и выдаёт текст; метаданные указывают английский язык и поддержку чата. Результаты получены в одном запуске на конкретном наборе задач и версиях сред; авторы отмечают, что выбор лучшего чекпойнта опирался на этот тестовый набор. Для воспроизведения результатов нужны агентная среда и инструменты, а обычный чатовый запрос не эквивалентен оценке. Веса опубликованы в safetensors; лицензия обозначена в метаданных как other, без уточнения условий в предоставленной карточке.
LFM2.5-8B-A1B-Coder — дообученная и слитая с базовыми весами модель для генерации кода, созданная на основе LiquidAI/LFM2.5-8B-A1B. Автор карточки сообщает, что для настройки использовался LoRA-адаптер josephmayo/LFM2.5-8B-A1B-Coder-LoRA; обучение охватило 123 примера с реальными и мультиязычными задачами программирования. Архитектура — гибридная MoE для причинной генерации текста, размер по метаданным — 1,6 млрд параметров, формат весов — safetensors, библиотека — Transformers, контекст — до 128 000 токенов. Модель предназначена для помощи в программировании: генерации и продолжения кода, а также решения практических задач кодирования на нескольких языках. В README приведено снижение среднего heldout NLL после слияния весов с 3,39 до 1,87; публичные результаты бенчмарков автор не заявляет. Карточка не уточняет конкретные языки программирования или естественные языки. Лицензия в предоставленных данных не приведена.
Карточка модели vllm-sr/lora_pii_detector_bert-base-uncased_model на Hugging Face совпадает с карточкой llm-semantic-router/lora_pii_detector_bert-base-uncased_model, поэтому описание составлено по ней. Это LoRA-адаптер для обнаружения персональных данных в тексте, созданный в рамках проекта semantic-router на базе BERT base uncased и настроенный для работы с библиотекой Candle на Rust. Модель выполняет токенную классификацию, чтобы находить и размечать фрагменты текста с персональными данными; метаданные также указывают поддержку классификации текста. Архитектура — BertForTokenClassification, адаптер обучен с рангом 16 и alpha 32. Размер базовой модели составляет 136,7 млн параметров, контекст — до 512 токенов; поддерживаемый язык — английский. Для использования нужны базовая модель и совместимый рантайм. Лицензия — Apache-2.0.
Distilled MetaCLIP 2 ViT-M/16 с входным разрешением 384 пикселя — мультимодальная модель Meta для классификации изображений без обучения на заданных классах. Этот чекпойнт соответствует варианту ViT-M-16-384-worldwide из оригинальной реализации и представлен в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Модель сопоставляет изображения с текстовыми описаниями классов, чтобы выбрать наиболее подходящие метки. Модель предназначена для мультиязычной классификации изображений по пользовательским текстовым категориям. Её можно применять для поиска изображений по смыслу и быстрой разметки наборов изображений без отдельного обучения под каждый набор классов. Репозиторий содержит веса в формате safetensors; карточка демонстрирует использование через Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства при соблюдении некоммерческих условий. Карточка не сообщает размер модели и длину контекста; производительность на конкретных наборах данных и языках требует отдельной проверки.
Модель Omar Maqousi для распознавания именованных сущностей в арабском тексте. Это дообученная версия XLM-RoBERTa base с архитектурой XLMRobertaForTokenClassification; модель содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Она выделяет имена людей (PER), организации (ORG) и географические названия (LOC), обучена на арабской части PAN-X (WikiANN) из бенчмарка XTREME. В описанной оценке на тестовой выборке PAN-X достигла F1 91,76% на уровне сущностей и точности токенов 96,24%. Предназначена для извлечения сущностей из современного литературного арабского текста; хуже подходит для диалектов, Arabizi, социальных сетей и типов сущностей вне PER, ORG и LOC. Лицензия — MIT.